主要工作

工作主要围绕大数据计算与数据湖展开，包括 Data Infra 以及支持业务（数仓、广告等），对 Data Infra 的构建以及使用场景有独特的理解。部分工作如下

Flink 重大特性：主导 State&Checkpoint 重大特性开发（Checkpoint 加速，Checkpoint 小文件问题等); 作业单点重启功能; 大状态快速恢复功能(40TB Checkpoint 1 分钟恢复完成）; 多形态、多环境的 Flink 一站式作业开发平台; 参与 Java 版 KV-Store 开发 — 客户线上 2.5 倍性能提升
基于 Spark Streaming 的 ODS 数据同步系统，保证数据一致性、完整性、系统稳定，峰值 60W/S
全链路实时大屏构建（数据采集，计算，展示），相关效果在中央十台展出
实时湖仓系统构建：百亿级别表，日更新 100% 情况下做到分钟级新鲜度，保证高效查询性能（Hive 的 4 倍），单条数据 1K 的情况下入湖效率单核达到 1500~2000 条/s，支持 SchemaEvolution（包括分库分表），单客户稳定支持 10W 表的管理和优化

Talks