Spark Streaming 从 Kafka 读取 binlog 转换成 Json

2016年8月27日 没有评论

在开发 Spark Streaming 的公共组件过程中,需要将 binlog 的数据(Array[Byte] […]

...

Spark Streaming 中使用 zookeeper 保存 offset 并重用(二)

2016年7月15日 没有评论

上一篇文章中,我们讲了如何在将 offset 保存在 zk 中,以及进行重用,但是程序中有个小问题“如果程序停 […]

...

Spark Streaming 中使用 zookeeper 保存 offset 并重用

2016年7月14日 没有评论

在 Spark Streaming 中消费 Kafka 数据的时候,有两种方式分别是 1)基于 Receive […]

...

Asking The Right Questions

2016年6月11日 没有评论

这是一本讲 Critical Thinking 的书籍,本文为一份读书笔记,有兴趣的建议自己读最新的原版。我读 […]

...
分类: 成长 标签: , , ,

我心目中的老师

2016年5月3日 没有评论

师者,所以传道,授业,解惑也 我心目中,教师和老师是两个完全不同的词,教师是一个职业,和工人,农民,医生等一样 […]

...
分类: 我的生活 标签: , ,

MIT 6.824 Lab 2 Part A

2016年3月30日 没有评论

做这个实验,最能学习的地方就是调试和思考的过程了,如果你直接参考了别人的思路或者代码,那么对于你来说,这个实验 […]

...

MIT 6.824 2015 Lab 1 记录

2016年3月23日 2 条评论

===========本文需要有 Go 的基础,并且知道 6.824 Lab 的相关内容作为预备知识===== […]

...

如何阅读一本书

2016年1月20日 2 条评论

本文属于《如何阅读一本书》的读书笔记,最近花了一个月,看完了前面两篇(阅读的前三个层次),在此进行记录 本书目 […]

...
分类: 成长 标签: , , , ,

Redis 中快排算法详解(pqsort.c)

2015年7月26日 1 条评论

Redis 中的快排中的思想是一篇叫做“Engineering a Sort Function”里面的思想。做 […]

...
分类: 源码阅读 标签: , ,

storm 分组方式实验结果

2015年7月17日 1 条评论

打算把自己学习实时计算的相关东西写出来,形成一个从零开始学实时计算的系列,由于我也是刚开始接触,系列文中的描述 […]

...

无觅相关文章插件,快速提升流量