集成中心-数据集成介绍
「集成中心-数据集成」的核心能力是要解决各个业务系统数据分散的问题。它通过直接对接数据库的方式来实现数据的实时同步或定时同步。用户只需要配置简单的字段映射规则,就可以实现数据库和工作表的同步,也支持数据库之间的数据同步。可以解决以下4类场景问题:
- 将旧系统的数据批量迁移到本平台
- 将其他系统的数据实时同步到本平台中使用
- 本平台中的数据实时同步到其他数据库中使用
- 作为一个连接桥梁,实现不同数据库之间的数据同步
目前支持的数据库类型有以下几种:
数据库 | 作为数据源 | 作为目的地 | 支持版本 |
---|---|---|---|
工作表 | ✅ | ✅ | - |
MySQL | ✅ | ✅ | 5.6, 5.7, 8.0.x 同时支持:阿里云、腾讯云 |
SAP HANA | ✅ | ❌ | 仅支持定时同步数据 且其他数据源不支持定时同步 |
SQL Server | ✅ | ✅ | 2012, 2014, 2016, 2017, 2019 同时支持:阿里云、腾讯云 |
Oracle | ✅ | ❌ | 9i、10g、11g、12c+ |
PostgreSQL | ✅ | ✅ | 9.6, 10, 11, 12+ |
MongoDB | ✅ | ✅ | >= 3.6 同时支持:阿里云、腾讯云 |
MariaDB | ✅ | ✅ | 10.3及以上 同时支持:阿里云、腾讯云 |
IBM db2 | ✅ | ❌ | 11.5x |
Kafka | ✅ | ❌ | 2.3.x |
集成步骤概述
入口
在首页依次点击左侧导航 > 集成中心,即可进入数据集成模块。
此功能仅组织的超级管理员或组织应用管理员可见。
集成的三个步骤
创建连接器
连接器是建立两端数据库的连接及字段映射关系,在创建连接器的过程中,用户可以为同一个数据源的多张表一次性建立多个同步任务。
-
选择“源数据”类型和“目的地”类型
如源数据和目的地都支持MySQL,那么可以实现的同步功方式有为下面4种:
-
工作表同步到工作表
-
MySQL数据库同步到工作表
-
工作表同步到MySQL数据库
-
MySQL数据库同步到MySQL数据库
-
-
配置数据源和目的地数据
-
如果是工作表,只需选择工作表所在的应用
-
如果是外部数据库,则需要配置连接数据库的信息
外部数据库在连接时需要一些先决条件,在右侧我们列出相关项和方法指南。
-
-
建立同步任务
配置好数据库连接后,需要确定数据的同步方式,支持两种:
- 仅同步数据
- 同步时需要对数据进行处理
同步机制为实时同步,仅SAP HANA 数据源支持定时同步
选择数据同步方式后,需要配置数据对象之间的字段映射关系,然后点击右上角“创建X个同步任务”。
- 每个数据表都需要单独配置。每个数据表都会分别建立对应的同步任务。
-
查看验证同步数据效果
- 查看现有表数据是否全部同步
- 更新源数据表记录看是否同步
- 新增一行记录看是否同步
管理同步任务
同步任务创建后,可以调整相关设置,也可以查看任务运行的状态和已同步的数据量。在任务监控中,用户还可以查看任务累计运行时长、累计读取和写入数据量、最近读取和写入数据量的曲线图。
修改任务
ETL数据处理能力
ETL属于数据集成的增强能力,ETL代表Extract(提取)、Transform(转换)、Load(加载),它涵盖了将数据从一个数据源提取出来,经过各种处理和转换,最后加载到另一个数据源的全过程。
在数据集成中,提供了四个功能,在数据处理完成后再同步数据到目的地数据库中。
-
筛选过滤后同步
-
多表连接后同步
-
分类汇总后同步
-
数据合并后同步
是否触发工作流
点击同步任务名称,可以配置同步的数据是否触发工作流。
目的表中删除数据后还会同步吗
-
将源表数据同步到目的表A后,如果在表A表中删除了一些记录(没有彻底删除),源表中记录的数据有修改,目标表A中会恢复这些记录的,并继续保存同步。
-
如果将删除的数据彻底删除,则不会进行同步。
-
彻底删除后,如果想继续同步这些记录,可以重新建一个同步任务
彻底删除是指清空回收站或在回收站中继续删除了记录。
管理数据源
数据源界面里保存着用户在创建连接器过程中创建的所有数据源和数据目的地连接信息。你可以在创建其它同步任务时,直接使用已创建的数据源。请放心,用户在连接信息中输入的密码会加密存储,HAP也有完善的机制来保证这些信息不被开发人员查看和解密。
在新建连接器时,选择已有数据源。
字段同步规则
不支持同步的字段
序号 | 控件名称 | 控件类型编号 | 说明 |
---|---|---|---|
1 | 大写金额 | 25 | |
2 | 备注 | 10010 | |
3 | 自由连接 | 21 | |
4 | 嵌入 | 45 | |
5 | 分割线 /分段 | 22 | |
6 | 标签页 | 52 | |
7 | 关联记录 | 29 | 多条 |
8 | 他表字段 | 30 | 仅同步 |
9 | 签名 | 42 | |
10 | 条码 | 47 | |
11 | API查询 | 49 | 查询按钮 |
12 | 文本识别 | 43 | |
13 | 关联查询 | 51 |
字段同步的示例说明
系统字段支持同步
目的地是数据库时,支持同步工作表的系统字段。
序号 | 控件类型 | 字段名称 | 控件类型编号 | 字段ID(系统字段为固定值) |
---|---|---|---|---|
1 | 文本框 | 记录ID | 2 | rowid |
2 | 成员 | 拥有者 | 26 | ownerid |
3 | 成员 | 创建人 | 26 | caid |
4 | 日期和时间 | 创建时间 | 16 | ctime |
5 | 日期和时间 | 最近修改时间 | 16 | utime |
6 | 成员 | 最近修改人 | 26 | uaid |
7 | 文本框 | 流程名称 | 2 | wfname |
8 | 成员 | 节点负责人 | 26 | wfcuaids |
9 | 成员 | 发起人 | 26 | wfcaid |
10 | 日期和时间 | 发起时间 | 16 | wfctime |
11 | 日期和时间 | 节点开始时间 | 16 | wfrtime |
12 | 公式(日期) | 剩余时间 | 38 | wfftime |
13 | 单选 | 流程状态 | 11 | wfstatus |