Data Warehouse · Big Data · Data Engineering

张佳欣

Resume Snapshot

大数据开发 / 数据仓库 / 数据工程能力快照

  • 背景定位 中国农业大学数据科学与大数据技术第二学士，目标岗位为大数据开发 / 数据仓库工程师
  • 生产经历 牧原总部 10 个月企业数仓经历，实际使用 MaxCompute、DataWorks、Hologres 和 SQL
  • 数仓能力 维度建模、分层加工、调度依赖治理、数据质量核验与异常回溯
  • 实时补强 通过本地可复现电商项目实践 Flink SQL、Kafka、Paimon、Doris 与双链路指标对账
  • AI 补充 Governed Novel 合成数据治理管道 + Mini-C4 网页预训练语料流水线
查看项目 联系我

精选项目：用可验证的工程链路说明能力

主项目 Doris Flink Paimon 指标对账

电商离线 + 实时双版本湖仓数仓

复现并封装一个电商交易指标双链路数仓：离线链路使用 MySQL + Doris 完成物理分层；实时链路由 Kafka + Flink SQL 临时视图构成 DWD → DWS → ADS 逻辑计算链，再通过 Statement Set 并行物化 Paimon ODS/DWD/DWS/ADS 和 Doris ADS，最终逐字段对账。

2离线 + 实时链路
6核心交易指标
1/7/30固定统计范围
PASS逐字段对账
  • 问题离线报表和实时看板容易因为口径、统计范围、数据源不同导致指标不一致。
  • 方案Doris 离线链路按表逐层加工；Flink 实时链路以临时视图串联口径，并在同一 Statement Set 中并行写入 Paimon 分层表与 Doris ADS。
  • 结果固定日期锚点下，1 / 7 / 30 日统计范围的核心指标和客单价全部对账 PASS。
电商离线与实时双链路数仓架构缩略图
查看项目详情 ->
SYNTHETIC DEMO AI Data Engineering Data Governance v0.1.0-demo

Governed Novel Data Pipeline

2025 年中，我与算法工程师、内容编辑共同推进一套私有 AI 小说创作工作台。项目暴露出权利不可追溯、字段口径漂移和“结构全绿、语义塌缩”等问题；我据此主导治理重构，并将训练前部分独立重建为这套 100% 合成、可公开复核的数据管道。

17/17SYNTHETIC DEMO · 自动化测试
23SYNTHETIC DEMO · SHA-256 产物校验
20SYNTHETIC DEMO · 最终唯一作品
0/0/0SYNTHETIC DEMO · 作者 / 作品 / 正文哈希跨集合重叠
  • 问题字段口径漂移、特征分布塌缩，结构验证却被误当成文学判断正确。
  • 重构权利硬门、规范化、双层去重、作者 / 作品级隔离、数据集生产与版本血缘。
  • 证据固定提交、双版本 CI、可重复构建、校验和、Dataset Card 与验证报告。
TRAINING-DATA CONTROL PLANE SYNTHETIC DEMO
01权利
准入
02文本
规范化
03精确 / 近似
去重
04作者 / 作品
隔离切分
05SFT / 偏好
评测集
06轻量公开
发布门
Manifest 与版本血缘
测试与隔离断言
SHA-256 文件校验
查看审计、重构与证据 ->
LLM Data Mini-C4 Validation
Mini-C4 数据管道三次迭代缩略图

Mini-C4 风格网页预训练语料流水线

复现并增强开源 Mini-C4 项目，在单机 CPU / WSL 环境下完成 WARC 解析、正文抽取、清洗去重、语种拆分、质量过滤、训练封装和一致性检查。

10阶段脚本串联运行
14/14一致性检查通过
查看项目详情 ->
工程片段 DataWorks 血缘核对 调度治理

工程攻坚片段：一日双调度复杂链路治理

一日双调度复杂链路治理

面对自依赖、跨天依赖和多周期混合调度，先用血缘图谱和调度配置表标注链路关系，再按核心表、加工表和缓存层拆解改动范围，最后用数据量、核心指标和历史回溯做一致性校验。

01 标注依赖类型 标记周 / 日 / 小时周期，以及普通、自依赖、跨天依赖。
02 拆分风险层级 区分核心表、加工表和缓存层，控制每次改动范围。
03 隔离时间窗口 拆出凌晨与下午窗口，对齐跨天边界和自依赖逻辑。
04 三重结果校验 用数据量、核心指标和历史回溯交叉校验结果。

落地范围与故障处理

  • 改造范围调整上游表及关联链路，适配每日两次数据产出。
  • 链路调整调整ODS抽取频率与中间层加工逻辑，逐层核对上下游结果。
  • 故障排查定位并修复转群数据因大小写不一致导致的匹配问题。

技术能力图谱

01

Cloud Warehouse

生产云数仓与调度

  • MaxCompute
  • DataWorks
  • Hologres / SQL
02

Model & Quality

分层建模与质量治理

  • ODS / DWD / DWS / DM
  • 维度建模
  • 质量核验 / 异常回溯
03

Realtime Practice

本地实时链路实践

  • Flink SQL / Kafka
  • Paimon / Doris
  • 指标合同 / 双链路对账
04

Engineering

可复现工程交付

  • Python / Pandas
  • Docker / WSL2
  • 测试 / 文档 / 血缘

证书与公开认可

专业认证提供知识基线，开源合并与公开采访补充可由第三方核验的协作和业务表达证据。

Professional Certifications

与目标岗位直接相关的专业认证

证书作为能力旁证展示；具体工程能力仍以公开项目、运行记录和验收结果为主。

张佳欣的阿里云大数据方向 ACP 专业认证证书
Alibaba Cloud ACP · Big Data

阿里云大数据专业认证

作为大数据方向的知识认证，与云数仓生产经历和数仓项目证据配套展示。

有效期至 2027.11.15 查看证书原图 ->
张佳欣的阿里云大模型方向 ACP 专业认证证书
Alibaba Cloud ACP · LLM

阿里云大模型专业认证

补充大模型基础知识证明；工程实践对应 Mini-C4 与训练前数据治理项目。

有效期至 2028.01.16 查看证书原图 ->

技术文章：从故障定位到长期工程方法

两篇公开材料分别记录实时数据链路排障，以及 AI 工具的文件化状态管理；均保留实践边界、验证方法与可迁移结论。

实时数据工程 Flink CDC · DataHub

阿里云 Flink CDC × DataHub：同步故障定位与排障闭环

复盘六类同步与消费故障，按控制面、数据面、事件语义和验证信号拆分问题，并整理可复用的排障顺序。

阅读 GitHub 排障记录 ->
AI 工程方法 OpenClaw · Codex

让 OpenClaw 越用越懂你：文件化记忆与 Codex 复用

把任务状态、踩坑日志、通用知识和权限边界写入可迁移文件，并在 OpenClaw 与 Codex 中复用同一套工程方法。

阅读完整文章 ->

联系与资料

欢迎联系我，共同创造价值，服务社会。

Phone 176-1112-0295 Email 1611209560@qq.com GitHub github.com/JiaxinZhang-space