Hello, ClassLoader

2017年3月25日 没有评论

这里所说的 ClassLoader 均指 Java ClassLoader。 什么是 ClassLoader […]

...
分类: 语言学习 标签: , ,

Spark Streaming 统一在每分钟的 00 秒消费 Kafka 数据的问题解决

2017年2月16日 没有评论

现象 一批 Spark Streaming 会统一在每分钟的 00 秒开始消费 kafka 数据 问题排查 这 […]

...

Spark Streaming 往 HDFS 追加 LZO 文件

2017年1月15日 没有评论

需求 将数据从 Kafka 同步到 Hive,并且目标格式希望是 lzo。我们通过 Spark Streami […]

...

Spark Streaming Ran out of messages before reaching ending offset 异常

2016年12月16日 没有评论

现象 Spark Streaming 处理数据过程中遇到 Ran out of messages before […]

...

Spark Streaming 从指定时间戳开始消费 kafka 数据

2016年12月2日 没有评论

需求 从指定时间戳(比如 2 小时)开始消费 Kafka 数据 思路 我们知道通过 Kafka 的 API 可 […]

...

Spark Streaming 往 HDFS 写文件,自定义文件名

2016年11月26日 没有评论

需求 将 kafka 上的数据实时同步到 HDFS,不能有太多小文件 实现过程 Spark Streaming […]

...

Spark Streaming 自适应上游 kafka topic partition 数目变化

2016年11月1日 没有评论

背景 Spark Streaming 作业在运行过程中,上游 topic 增加 partition 数目从 A […]

...

要多快才能跑完一场马拉松

2016年10月26日 没有评论

要多快才能跑完一场马拉松 完成一场马拉松的最慢速度 工作后身边跑马拉松的人突然就多起来了,或许你也蠢蠢欲动,但 […]

...

Storm 的可靠性保证测试

2016年10月22日 没有评论

文章首发于 美团点评技术博客 Storm 是一个分布式的实时计算框架,可以很方便地对流式数据进行实时处理和分析 […]

...

一种可行的英语阅读学习方法

2016年9月26日 没有评论

一种可行的英语阅读学习方法   为什么要看英语文章 我之前的英语基础 具体做法 我遇到过的问题 有关 […]

...
分类: 成长 标签: ,

无觅相关文章插件,快速提升流量