有整套商业版数据中台源码出售,基于doris实现的数据仓库,支持PB级别的数据存储分析,功能模块如下:
支持各类关系型数据库、非关系型数据库、MQ、文件源等。
元模型、最新元数据、定版元数据、数据全景图、数据血缘、数据影响分析、多版本元数据对比
标准词根、标准字典、数据元、标准模型、发布、多版本维护、数据标准核对
支持主题域、主题、数仓集群、维度建模、模型运维、模型审计、模型数据查、物化视图
规则定义,任务执行,结果查看,统计分析,质量问题修复日志
数据指标在线开发,数据指标地图、数据指标看板
标签对象、标签管理、置标任务、标签圈群、标签画像
分级分类、数据脱敏、分级分类授权
数据归档,数据恢复
接口在线开发(支持通过JS脚本对数据进行处理后返回,支持动态SQL),API注册(手写代码开发的接口注册到数据服务中),接口测试,接口发布,应用管理,应用授权
数据资产标签、数据资产目录、数据资产门户、数据资产申请使用、AI问数
实时开发(支持CDC)、离线开发(支持数据库、csv、excel、接口、ftp、kafka、mqtt、mongodb等数据源接入),在线拖拉拽生成数据集成任务
数据集,报表管理,报表设计,报表查看、知识图谱构建、知识图谱查看
微服务监控、中间件监控、服务器监控、数据仓库定时备份恢复、数据服务接口监控。
syslog查询、syslog实时查看、登录日志、审计日志
主数据模型管理、自动生成代码码段管理、主数据管理、主数据分发
技术栈
后端:Java springboot2.7 springcloud/alibaba mybatis plus hutool 等常见技术
前端:vue elementui vite 等常见技术
中间件:doris,mysql,redis,rabbitmq,minio,zookeeper。
开源版后端:Go 1.26 + go-zero v1.10.3 + MySQL 8.4 + Redis 8 + etcd 3.5 + Elasticsearch 7.17
有演示环境和方案PPT,需要加V:jackluo1989
2026-10 全栈升级:Go 1.26 + go-zero v1.10.3 + MySQL 8.4 + Redis 8 + etcd 3.5 + ES 7.17,升级明细见 docs/UPGRADE.md。 项目正在从"活动业务中台"向真正的数据中台演进,路线图见 docs/ROADMAP.md。
go install github.com/zeromicro/go-zero/tools/goctl@latest,仅重新生成代码时需要)2026-11 重绘:反映当前 17 个服务的真实代码结构(旧版 2020 架构图见 git 历史)
flowchart TB
subgraph CLIENTS["客户端"]
direction LR
FE["Vue3 控制台<br/>19 组页面 :5173"]
BS["数据可视化大屏<br/>/bigscreen 免登录"]
APP["第三方应用<br/>HMAC 签名调用"]
DE["DataEase BI<br/>viz profile 外挂"]
end
subgraph GW["datacenter-api 网关 :8887"]
direction LR
AUDIT["审计切面<br/>POST/PUT/DELETE 自动落库<br/>密码字段脱敏"]
JWT["JWT 鉴权<br/>双账号体系"]
RBACM["RBAC 动态菜单<br/>getRouters/v-perm"]
STATIC["静态托管 /static"]
end
subgraph SVCS["16 个 go-zero RPC 服务(etcd 服务发现)"]
direction TB
subgraph INGEST["数据接入"]
direction LR
DS["datasource :8085<br/>数据源登记/探活<br/>凭证 AES-GCM"]
META["metadata :8086<br/>采集/血缘/版本对比<br/>中文注释检索"]
JOB["job :8092<br/>同步引擎(分批事务)<br/>DolphinScheduler 管控"]
IDE["ide :8093<br/>SQL IDE(SELECT 闸门)"]
end
subgraph GOV["数据治理"]
direction LR
QUALITY["quality :8089<br/>6 规则/告警(钉钉飞书)<br/>错误下钻/健康分"]
STD["standard :8095<br/>词根/字典/数据元<br/>标准模型/核对"]
SEC["security :8099<br/>分级/脱敏 4 算法<br/>授权矩阵"]
MDM["mdm :8096<br/>主数据/号段编码<br/>真实分发"]
OPS["ops :8097<br/>归档/登录/审计日志"]
end
subgraph SERVE["数据服务与资产"]
direction LR
DSVC["datasvc :8087<br/>OneService 执行链<br/>签名/限流/授权/缓存/脱敏"]
CAT["catalog :8088<br/>资产目录/申请审批"]
MET["metric :8090<br/>原子/派生指标"]
TAG["tag :8091<br/>打标/画像/圈群"]
THEME["theme :8098<br/>数仓建模/物化视图"]
AIC["ai :8094<br/>ChatBI 语义检索<br/>+AskAndRun 执行"]
end
subgraph PLAT["平台"]
direction LR
SYS["sys :8100<br/>RBAC 用户/角色/菜单<br/>bcrypt/动态路由"]
SRCH["search :8083<br/>ES 文章检索"]
USER["user :8080<br/>C 端用户/微信登录"]
COMMON["common :8081<br/>应用配置"]
VOTES["votes :8082<br/>投票"]
QUESTIONS["questions :8084<br/>抽奖问答"]
end
end
subgraph INFRA["存储与中间件"]
direction LR
MYSQL[("MySQL 8.4<br/>67 表(utf8mb4)")]
REDIS[("Redis 8<br/>缓存/分布式锁")]
ETCD[("etcd 3.5<br/>服务发现")]
ESS[("Elasticsearch 7.17<br/>文章索引")]
end
subgraph EXTERNAL["外挂(不自研)"]
direction LR
DOLPH["DolphinScheduler<br/>大规模调度(可选)"]
DEE["DataEase<br/>BI 可视化(viz profile)"]
end
subgraph SCHEDPROC["调度引擎 cmd/scheduler"]
CRON["30s tick 扫表<br/>quality/ops/theme cron 到期<br/>→ etcd 发现 rpc 执行"]
end
FE --> GW
BS -.->|"免登录"| FE
APP --> GW
DE --> GW
GW --> SVCS
AUDIT -.->|"WriteAuditLog"| OPS
SCHEDPROC -->|"RunJob/RunArchive/Refresh"| QUALITY & OPS & THEME
SP -.->|"HMAC 签名转发"| DSVC
SVCS --> INFRA
DSVC --> DEE
JOB -.->|"大规模可选"| DOLPH
分层说明
| 层 | 职责 | 关键机制 |
|---|---|---|
| 客户端 | Vue3 控制台(JWT+RBAC 动态菜单+v-perm)、免登录大屏、第三方 HMAC 调用、DataEase 旁挂 | — |
| 网关 | 统一入口 :8887,审计切面(写操作自动落库)、JWT 双账号体系(管理台 sys_user / C 端 base_member)、RBAC 动态菜单、静态托管 | — |
| 服务层 | 16 个 go-zero RPC,etcd 服务发现,beid 多租户贯穿;内置同步引擎与调度进程让中小规模无需外部调度器 | OneService 签名→限流→授权→缓存→脱敏执行链 |
| 外挂 | 大规模调度交 DolphinScheduler、BI 交 DataEase——不自研,平台做管控与数据供给 | — |
项目正从上面的活动业务中台向真正的数据中台演进,Phase 1-4 共 10 个服务已交付。
sh server.sh # 1. docker 起依赖(mysql 8.4 / redis 8 / etcd 3.5 / es 7.17)
mysql -uroot -padmin # 2. 导入表结构:source sql.sql 后依次 source docs/schema/phase1.sql ~ phase3.sql
sh restart.sh # 3. 编译并重启全部服务(网关端口 8887)
下面给出关键步骤的 curl 示例(网关 http://127.0.0.1:8887),完整流程为:登记数据源 → 采集元数据 → 建 API(/datasvc/api/create)→ 注册应用 → 授权(/datasvc/grant)→ 发布(/datasvc/api/publish)→ 执行:
# 登记数据源(凭证 AES-GCM 加密入库)
curl -XPOST http://127.0.0.1:8887/datasource/create -d '{"name":"业务库","type":"mysql","host":"127.0.0.1","port":3306,"db_name":"datacenter","username":"root","password":"admin"}'
# 采集元数据(information_schema → 元数据实体)
curl -XPOST http://127.0.0.1:8887/metadata/collect -d '{"ds_id":1}'
# 注册应用(返回 app_key/app_secret,secret 仅注册时返回一次)
curl -XPOST http://127.0.0.1:8887/datasvc/app/register -d '{"name":"demo-app","rate_limit_qps":10}'
# 执行 API(sign = hex(hmac-sha256(app_secret, app_key+ts)),返回 rows_json/cost_ms/cache_hit)
curl -XPOST http://127.0.0.1:8887/datasvc/execute -d '{"app_key":"<app_key>","ts":"<unix秒>","sign":"<hex签名>","path":"/api/v1/demo","params_json":"{}"}'
docs/schema/phase2.sql)docs/schema/phase3.sql| 目录 | 职责 |
|---|---|
datacenter.go + internal/ |
网关(:8887):路由聚合、JWT 登录校验、防越权中间件、跨服务编排 |
datasource/ |
数据源管理:登记、凭证 AES-GCM 加密、连接探活 |
metadata/ |
元数据:库表自动采集、表级血缘、定版快照与版本对比 |
datasvc/ |
数据服务 API(OneService):配置出 API,签名/限流/授权/缓存/脱敏 |
catalog/ |
资产目录:资产分类、登记、申请与审批 |
quality/ |
数据质量:规则、任务执行、结果 |
metric/ |
数据指标:原子/派生指标定义与关系 |
tag/ |
数据标签:标签对象、定义、圈群画像 |
job/ |
调度集成:同步任务登记、对接 DolphinScheduler 管控面 |
ide/ |
SQL IDE:脚本在线开发与版本管理 |
ai/ |
AI 问数:语义层(NL2Metric)问数编排 |
user/ common/ votes/ search/ questions/ |
遗留业务 RPC:登录、公共、投票、搜索、问答抽奖 |
docs/ |
ROADMAP(路线图)、UPGRADE(升级记录)、PHASE1(开发契约)、schema(phase1~3 表结构) |
docker compose build # 首次构建镜像,比较久
docker compose up -d # 4 个依赖(mysql/redis/etcd/es)+ 11 个服务,mysql 健康后按序启动
docker compose ps # 查看状态;日志:docker compose logs -f datacenter-api
8887 对外(http://localhost:8887),其余容器网络内互通;sql.sql → docs/schema/phase1.sql → phase2.sql → phase3.sql,无需手工导入;user/common/votes/search/questions 五个遗留 RPC 不在编排内(etcd 懒加载,网关可正常启动):需要 /user/login 等接口时,按方式二另起对应服务后再调用。先用 docker 启动 mysql redis etcd elasticsearch 服务
sh server.sh
mysql
mysql
8d5d4b381ab7abe8947f532422255cd172f214ab4a6b0533da1619259e1cc4a5
redis
redis
Start Redis Service...
1fc187a9d82f0942dd60cac76c723a5bc531e1b67424384d04e7a69dad1362f0
etcd
etcd
98f88d81e1e218d4d53c608e5a68cd70254df221bdb34c9beab37a7473971ba0
es
es
04b37b58f10411fa8ab5894c917266cc7bc7f9a96988908fff9b3734e6259ad4
ELASTIC_PASSWORD=admin)接着导入 sql.sql到 mysql数据中 ,如果有工具自行导入,下面仅参考
mysql -uroot -padmin
mysql > set names utf8
mysql > create database datacenter
mysql > use datacenter
mysql > source sql.sql
mysql > source docs/schema/phase1.sql
mysql > source docs/schema/phase2.sql
mysql > source docs/schema/phase3.sql
vi etc/datacenter-api.yaml #网关配置
vi user/rpc/etc/rpc.yaml #用户信息配置
vi common/rpc/etc/rpc.yaml #公共配置
vi votes/rpc/etc/rpc.yaml #投票配置
vi search/rpc/etc/search.yaml #搜索配置
vi questions/rpc/etc/questions.yaml #抽奖配置
sh restart.sh
➜ datacenter.bak git:(master) ✗ sh restart.sh
appending output to nohup.out
appending output to nohup.out
appending output to nohup.out
appending output to nohup.out
appending output to nohup.out
appending output to nohup.out
tail -F nohup.out #网关的服务
tail -F user/rpc/nohup.out #用户的rpc服务
tail -F common/rpc/nohup.out #公共的
tail -F votes/rpc/nohup.out #投票的
tail -F search/rpc/nohup.out #搜索的
tail -F questions/rpc/nohup.out #问答抽奖
POST /user/login 获取 access_token(登录返回 access_token / access_expire);Authorization: Bearer <access_token>;x-user-id: <用户ID>,且必须与 token 中的 uid 一致(见 internal/middleware/usercheckmiddleware.go)。