Spark Streaming 从指定时间戳开始消费 kafka 数据

2016年12月2日 没有评论

需求 从指定时间戳(比如 2 小时)开始消费 Kafka 数据 思路 我们知道通过 Kafka 的 API 可 […]

...

Spark Streaming 往 HDFS 写文件,自定义文件名

2016年11月26日 没有评论

需求 将 kafka 上的数据实时同步到 HDFS,不能有太多小文件 实现过程 Spark Streaming […]

...

Spark Streaming 自适应上游 kafka topic partition 数目变化

2016年11月1日 没有评论

背景 Spark Streaming 作业在运行过程中,上游 topic 增加 partition 数目从 A […]

...

要多快才能跑完一场马拉松

2016年10月26日 没有评论

要多快才能跑完一场马拉松 完成一场马拉松的最慢速度 工作后身边跑马拉松的人突然就多起来了,或许你也蠢蠢欲动,但 […]

...

Storm 的可靠性保证测试

2016年10月22日 没有评论

文章首发于 美团点评技术博客 Storm 是一个分布式的实时计算框架,可以很方便地对流式数据进行实时处理和分析 […]

...

一种可行的英语阅读学习方法

2016年9月26日 没有评论

一种可行的英语阅读学习方法   为什么要看英语文章 我之前的英语基础 具体做法 我遇到过的问题 有关 […]

...
分类: 成长 标签: ,

Spark Streaming 从 Kafka 读取 binlog 转换成 Json

2016年8月27日 没有评论

在开发 Spark Streaming 的公共组件过程中,需要将 binlog 的数据(Array[Byte] […]

...

Spark Streaming 中使用 zookeeper 保存 offset 并重用(二)

2016年7月15日 没有评论

上一篇文章中,我们讲了如何在将 offset 保存在 zk 中,以及进行重用,但是程序中有个小问题“如果程序停 […]

...

Spark Streaming 中使用 zookeeper 保存 offset 并重用

2016年7月14日 没有评论

在 Spark Streaming 中消费 Kafka 数据的时候,有两种方式分别是 1)基于 Receive […]

...

Asking The Right Questions

2016年6月11日 没有评论

这是一本讲 Critical Thinking 的书籍,本文为一份读书笔记,有兴趣的建议自己读最新的原版。我读 […]

...
分类: 成长 标签: , , ,

无觅相关文章插件,快速提升流量