一篇谈Flink不错的文章

news/2025/2/26 4:29:49

精华 :

在执行引擎这一层,流处理系统与批处理系统最大不同在于节点间的数据传输方式。对于一个流处理系统,其节点间数据传输的标准模型是:当一条数据被处理完成后,序列化到缓存中,然后立刻通过网络传输到下一个节点,由下一个节点继续处理。而对于一个批处理系统,其节点间数据传输的标准模型是:当一条数据被处理完成后,序列化到缓存中,并不会立刻通过网络传输到下一个节点,当缓存写满,就持久化到本地硬盘上,当所有数据都被处理完成后,才开始将处理后的数据通过网络传输到下一个节点。这两种数据传输模式是两个极端,对应的是流处理系统对低延迟的要求和批处理系统对高吞吐量的要求。Flink的执行引擎采用了一种十分灵活的方式,同时支持了这两种数据传输模型。Flink以固定的缓存块为单位进行网络数据传输,用户可以通过缓存块超时值指定缓存块的传输时机。如果缓存块的超时值为0,则Flink的数据传输方式类似上文所提到流处理系统的标准模型,此时系统可以获得最低的处理延迟。如果缓存块的超时值为无限大,则Flink的数据传输方式类似上文所提到批处理系统的标准模型,此时系统可以获得最高的吞吐量。同时缓存块的超时值也可以设置为0到无限大之间的任意值。缓存块的超时阈值越小,则Flink流处理执行引擎的数据处理延迟越低,但吞吐量也会降低,反之亦然。通过调整缓存块的超时阈值,用户可根据需求灵活地权衡系统延迟和吞吐量。

 

http://bigdata.51cto.com/art/201611/522441.htm

转载于:https://www.cnblogs.com/zourui4271/p/10186849.html


http://www.niftyadmin.cn/n/1153058.html

相关文章

镜像网站的几种方法

镜像网站的几种方法 一、如果有root权限 方法1: (经过测试,这种方式最快!) rsync -vazu -e ssh ./* root211.152.111.111:/home/www 注解:将当前目录下的所有文件通过ssh协议传送到远程服务器的/home/www目录中。 方法2: scp -p ./* root211.1…

tomcat catalina报错误 java.lang.IndexOutOfBoundsExcep

为什么80%的码农都做不了架构师?>>> 最近把项目部署到windows服务器上面,通过tomcat跑80端口,一直很稳定。今天在查tomcat日志时,发现了大量的错误日志,错误详细信息如下: 2009-11-15 16:09:0…

2-2:分片

容器的数据结构有列表、元组、字符串。 可以通过索引如:num[1]使用,通过分片(:)如num[1:5:2]来使用。 格式num[0:0:1],格式num[中间:前面:-1]。 步长为正数时候:第一个数先于第二个数出现;步长…

wine 在linux下安装windows程序

wine的安装和配置 源里的wine之前是 0.9.59版现在已经更新到0.9.61了 1、在命令行输入 sudo apt-get install wine 您也可以从wine官方网站 下载源码自己编译,这样会减少因为依赖产生的问题 2、安装后需要wine需要配置 命令行输入 winecfg 配置的时候可能产生错误&a…

Jquery跨域

2019独角兽企业重金招聘Python工程师标准>>> 前端 <script type"text/javascript"> $(document).ready(function() {$.ajax({url: "http://192.168.1.113:8081/MAFWeb/appcontent/appContent.svl",type: "get",dataType: &q…

Django-models-迁移错误

错误表现&#xff1a;数据表二次迁移时&#xff1a;django.db.utils.InternalError: (1138, Invalid use of NULL value) 错误原因&#xff1a;是因为二次修改了null值属性导致错误 解决方案&#xff1a;删除历史迁移记录&#xff0c;重新迁移就可以 转载于:https://www.cnblog…

js 数组函数

concat 将参数列表连接到原数组后面形成一个新的数组并返回&#xff0c;原有数组不受影响。 var arr ["a","b","c"];var arr1 arr.concat("d","e");//arr1 ["a","b","c","d",&q…

并查集算法的描述

1、概念&#xff1a; 在一些有N个元素的集合应用问题中&#xff0c;我们通常是在开始时让每个元素构成一个单元素的集合&#xff0c;然后按一定顺序将属于同一组的元素所在的集合合并&#xff0c;其间要反复查找一个元素在哪个集合中。这一类问题近几年来反复出现在信息学的国际…