主要工作

工作主要围绕大数据实时计算与数据湖展开，主要在 Data Infra 团队工作，也贴身支持过业务团队，对 Data Infra 以及上层团队如何使用 Data Infra 有一定自己的理解。

主要一些工作包括

[美团] 基于 Storm 搭建一套实时大屏全链路，其中为酒旅提供的效果在中央十台播出
[美团] 基于 SparkStreaming 的 ODS 数据同步系统，日均同步数据 10T，TPS 峰值 60W/s
[阿里] Blink — 阿里内部 Flink 版 — 开发：主要包括 Java 版 KV-Store，在客户线上获得 2.5 倍性能提升；Flink Checkpoint 小文件合并解决 HDFS 压力大的问题；其他各项功能特性
[阿里] Flink 社区中 State/Checkpoint 多项重大特性开发支持，包括 State 多线程上传下载、Savepoint relocation、State Migration、StateBackend 丢数等
[腾讯] 内部 Flink 版本开发：Flink 单点重启功能，单 task failvoer 耗时降为 0；Flink 大状态快速恢复功能，40TB state 恢复耗时从 20 分钟优化到 1 分钟
[腾讯] 广告提效项目支持：支持实时样本、特性、训练等使用 Flink，并支持 Native K8S 相关功能，为广告节省成本 40%。
[腾讯] Flink 作业管理平台开发，支持多种作业类型（代码、SQL、拖拽式画布），支持多环境部署
[天翼云]

Talks