博客
关于我
flink读取hive表数据的一些现象
阅读量:763 次
发布时间:2019-03-23

本文共 384 字,大约阅读时间需要 1 分钟。

一个可能的解释是,配置文件中的executionplanner设置直接影响了Flink如何处理数据。默认的execution设置为streaming,这适用于处理实时数据流,但在某些情况下,批量处理可能提供了更好的性能或数据一致性。与此同时,planner设置到batch说明Flink使用批量处理模式。

用户提到的现象显示,无论是创建Hive表还是Flink流表,由于type: streamingbatch都能正常工作,说明它们在不同的数据量和处理需求下都可以有效使用。特别是在处理外部日志文件时,批量处理能完全读取数据,而流处理则可能遇到读取逻辑上的问题。这可能是因为批处理模式更适合处理完整的、离散的数据集,而流处理则需要数据持续生成。

通过这些分析,可以得出配置文件中的execution设置直接反映了Flink处理数据的方式,从而影响了查询和处理性能。

转载地址:http://eykkk.baihongyu.com/

你可能感兴趣的文章
MySql中关于geometry类型的数据_空的时候如何插入处理_需用null_空字符串插入会报错_Cannot get geometry object from dat---MySql工作笔记003
查看>>
mysql中出现Incorrect DECIMAL value: '0' for column '' at row -1错误解决方案
查看>>
mysql中出现Unit mysql.service could not be found 的解决方法
查看>>
mysql中出现update-alternatives: 错误: 候选项路径 /etc/mysql/mysql.cnf 不存在 dpkg: 处理软件包 mysql-server-8.0的解决方法(全)
查看>>
Mysql中各类锁的机制图文详细解析(全)
查看>>
MySQL中地理位置数据扩展geometry的使用心得
查看>>
Mysql中存储引擎简介、修改、查询、选择
查看>>
Mysql中存储过程、存储函数、自定义函数、变量、流程控制语句、光标/游标、定义条件和处理程序的使用示例
查看>>
mysql中实现rownum,对结果进行排序
查看>>
mysql中对于数据库的基本操作
查看>>
Mysql中常用函数的使用示例
查看>>
MySql中怎样使用case-when实现判断查询结果返回
查看>>
Mysql中怎样使用update更新某列的数据减去指定值
查看>>
Mysql中怎样设置指定ip远程访问连接
查看>>
mysql中数据表的基本操作很难嘛,由这个实验来带你从头走一遍
查看>>
Mysql中文乱码问题完美解决方案
查看>>
mysql中的 +号 和 CONCAT(str1,str2,...)
查看>>
Mysql中的 IFNULL 函数的详解
查看>>
mysql中的collate关键字是什么意思?
查看>>
MySql中的concat()相关函数
查看>>