刘智豪｜大数据开发工程师｜6年经验

📍 四川泸州 ｜ 🏢 本科
📞 177-6062-0226 ｜ ✉️ lzhgy163@163.com
🔗 个人网站：http://lzhgy.cn

个人简介

具备6年大数据开发经验，专注于数据仓库建设、ETL开发及大数据平台开发与运维。熟悉Hive/Spark/Flink等数据处理框架，具备扎实的SQL开发能力（Hive SQL /Fink SQL / MySQL / PG SQL），能够独立完成数据建模（维度建模、分层设计）及ETL流程开发。

具备从0到1搭建数据仓库体系经验（ODS/DWD/DWS/ADS），同时具备实时与离线一体化数据处理能力。熟悉Hadoop生态（Hive、Spark、Flink、Kafka等），具备数据质量治理、任务调度及系统监控经验，能够保障数据平台稳定高效运行。

技能概览

• 编程语言：Java、Python、Shell
• SQL能力：精通 Hive SQL / Flink SQL / MySQL / Oracle，熟悉复杂查询、窗口函数、性能优化
• 大数据技术：Hive、Flink、Spark、Kafka、HBase、StarRocks、ClickHouse
• **AI技术：**PyTorch、特征工程、KNN、CNN、聚类回归等机器学习基础算法
• 数据仓库：
  • 熟悉维度建模（星型模型 / 雪花模型）
  • 数仓分层设计（ODS / DWD / DWS / ADS/ DIM）
  • 数据指标体系与数据质量管理
• ETL开发：
  • 熟悉离线及实时ETL开发（Hive / Spark / Flink）
  • 数据采集与同步（FlinkCDC / Sqoop / Flume）
• 调度与运维：
  • DolphinScheduler、Linux、Dataleap等
  • 数据监控、告警及故障处理
• 平台与生态：
  • 熟悉Hadoop生态（Hive / Spark / Flink / Kafka）

工作经历

数据开发负责人｜短剧平台 NetShort

2024.11 - 至今

技术栈：Flink、Hive、StarRocks、Kafka、MySQL、Redis

• 负责实时与离线一体化数据仓库建设，设计ODS/DWD/DWS/ADS分层体系
• 使用Flink SQL / Hive SQL完成ETL开发，实现用户行为数据清洗、转换与入库
• 构建用户行为分析数据模型，支撑运营、推荐及投放决策
• 基于StarRocks进行数据建模与查询优化，提高分析效率
• 参与数据质量监控与异常处理，保障数据准确性与稳定性

数据开发组长｜成都城投大数据平台

2023.03 - 2024.09

技术栈：Hive、Spark、Flink、ClickHouse、Kafka、PostgreSQL、DolphinScheduler

• 负责城市级大数据平台建设，完成数据接入、ETL处理及数据仓库搭建
• 设计ODS/DWD/DWS/ADS数据分层，减少重复计算，提高查询性能
• 使用Hive/Spark/Flink完成大规模数据ETL开发（日处理20亿+数据）
• 负责数据质量稽核（完整性、一致性、时效性），建立数据治理机制
• 使用DolphinScheduler进行任务调度及告警配置
• 负责数据平台日常运维与监控（130+服务器），保障系统稳定运行
• 主导万亿级数据迁移项目，保障数据一致性与业务连续性

项目成果：
平台上线后成功预警252起燃气泄漏事故，有效支撑城市安全管理 ，特别是“1.29”燃气泄露重大风险事件联动处置，30分钟控制险情，成功避免类似河北燕郊燃气管道泄露爆炸事故的发生

数据开发｜国家级大数据项目 |国企正编

2021.10 - 2023.01

技术栈：Kafka、MySQL、HBase、StarRocks、Seatunnel、Flink、NebulaGraph

• 参与国家级大数据平台建设，负责数据采集、清洗及入库处理
• 优化数据链路，提高数据处理效率与系统稳定性
• 参与数据存储方案设计，提升数据查询性能

项目经验

短剧平台用户画像系统

技术架构：Flink+ Hive + MySQL + StarRocks + Redis

• 参与用户画像系统设计，构建标签体系及数据模型
• 使用SQL完成用户标签计算及ETL处理流程
• 基于维度建模设计用户画像数据结构，支持多维分析
• 将标签结果写入Redis，支撑精准营销与推荐系统

实时数据分析平台（NetShort）

技术架构：Kafka + Flink + Hive + HBase + StarRocks

• 构建实时数据处理链路，实现用户行为数据采集与处理
• 设计实时数仓分层（ODS/DWD/DWS/ADS），实现数据统一管理
• 使用Flink 进行实时ETL计算，输出核心指标数据
• 将聚合结果写入StarRocks，支持BI分析与数据可视化

城市安全风险监测平台

技术架构：Hive + Spark + Flink + ClickHouse + Kafka

• 负责20亿+/日数据接入、清洗与入库处理
• 构建数据仓库体系，支持多业务场景分析
• 建立数据质量校验机制，保障数据准确性
• 负责数据平台监控，确保系统稳定运行
• 负责100+服务器大数据0-1搭建运维

自我评价

• 具备完整的数据仓库建设与ETL开发经验，可独立完成数据平台搭建
• 精通SQL开发及数据建模，具备大规模数据处理能力
• 熟悉Hadoop生态及主流大数据组件，具备良好的系统设计能力
• 注重数据质量与系统稳定性，能够快速定位并解决问题
• 具备团队管理经验及良好的沟通协作能力