产品简介
data-warehouse-learning 这是一个以电商系统为例的数仓实战项目，提供从数据生成、采集到可视化的全流程方案。帮助用户掌握Doris、Paimon等技术的数仓建设，适合大数据学习者和数据工程师实践。
核心功能
- 模拟电商业务数据生成
- 多源数据采集与集成
- 标准数仓分层实现（ODS/DWD/DIM/DWS/ADS）
- 支持Doris、Paimon、Hudi、Iceberg等多种组件
- 数据可视化与报表展示
快速开始
- 安装所需软件组件，如Flink、Doris、Kafka等
- 运行数据生成脚本，模拟电商业务数据和用户日志
- 配置数据采集任务，将数据导入数仓ODS层
- 执行数仓分层处理，构建DWD、DIM、DWS、ADS层
- 使用DataRT或SuperSet工具进行数据可视化展示
界面预览
与其他方案对比
| 对比项 | 本工具 | 同类商业软件 | 在线服务 |
|---|---|---|---|
| 费用 | 开源免费 | 通常收费或含广告 | 可能有订阅或上传限制 |
| 隐私 | 本地运行，数据自持 | 依赖厂商政策 | 需上传数据到服务器 |
| 可定制性 | 源码开放，社区活跃 | 受限于官方功能 | 功能固定 |
适合谁用
- 学习大数据数仓建设的数据工程师
- 需要实战练习的大数据开发者
- 从事电商数据分析的技术人员
下载与版本
当前最新版本为 master，发布于 。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/MrSuiChuan/data-warehouse-learning