Info

  • 姓名: 邱从贤/klion26
  • Gmail: qcx978132955
  • Github: klion26

学习经历

  • 2008 - 2012 中南大学本科
  • 2012 - 2015 中南大学硕士

经历

  • 2018.3 - 阿里巴巴 实时计算部门
  • 2015.7 - 2018.3 美团 数据平台

项目

美团

  1. ODS 数据实时拉取： 使用 Spark Streaming 将 ODS 数据实时同步进入数仓，数据可见性 15 分钟，单作业每天最大数据量 10T，拉取速度峰值 60W/s，数据一致性为恰好一次，实现 watermark 机制

  2. Spark Streaming 平台维护和改进：Spark Streaming 平台维护和改进，针对读取 kafka 进行一些定制（自动保存 offset，自适应 topic 扩容，防止所有作业同一时间消费 kafka 等），改进 Spark Streaming 1.6 的动态资源策略，能够更好的适应常驻作业

  3. Rtdw 开发：为业务方提供一站式实时报表服务，从数据收集，到实时处理（Storm），以及最后的数据展示

  4. DimService&StateService 开发维护：为 Storm 作业提供同一的 DimService 以及 StateService 服务

  5. 设备唯一 ID 服务开发维护：开发维护美团的设备唯一 ID 服务，服务可靠性 99.99%，90% 请求再 5ms 以内，设备 ID 一致性为 99.7%

对分布式计算以及存储有一些了解, 包括但不限于 Storm，Spark，Flink，Kafka，Es，Hadoop

▲