集成中心-數據集成介紹
「集成中心-數據集成」的核心能力是要解決各個業務係統數據分散的問題。它通過直接對接數據庫的方式來實現數據的實時同步。用戶隻需要配置簡單的字段映射規則,就可以實現數據庫和工作錶的同步,也支持數據庫之間的數據同步。可以解決以下4類場景問題:
- 將舊係統的數據批量遷移到本平臺
- 將其他係統的數據實時同步到本平臺中使用
- 本平臺中的數據實時同步到其他數據庫中使用
- 作為一個連接橋梁,實現不同數據庫之間的數據同步
目前支持的數據庫類型有以下幾種:
數據庫 | 作為數據源 | 作為目的地 | 支持版本 |
---|---|---|---|
工作錶 | ✅ | ✅ | - |
MySQL | ✅ | ✅ | 5.6, 5.7, 8.0.x 同時支持:阿裏雲、騰訊雲 |
SQL Server | ✅ | ✅ | 2012, 2014, 2016, 2017, 2019 同時支持:阿裏雲、騰訊雲 |
Oracle | ✅ | ❌ | 9i、10g、11g、12c+ |
PostgreSQL | ✅ | ✅ | 9.6, 10, 11, 12+ |
MongoDB | ✅ | ✅ | >= 3.6 同時支持:阿裏雲、騰訊雲 |
MariaDB | ✅ | ✅ | 10.3及以上 同時支持:阿裏雲、騰訊雲 |
IBM db2 | ✅ | ❌ | 11.5x |
Kafka | ✅ | ❌ | 2.3.x |
集成步驟概述
入口
在首頁依次點擊左側導航 > 集成中心,即可進入數據集成模塊。
此功能僅組織的超級管理員或組織應用管理員可見。
集成的 三個步驟
創建連接器
連接器是建立兩端數據庫的連接及字段映射關係,在創建連接器的過程中,用戶可以為同一個數據源的多張錶一次性建立多個同步任務。
-
選擇“源數據”類型和“目的地”類型
如源數據和目的地都支持MySQL,那麼可以實現的同步功方式有為下麵4種:
-
工作錶同步到工作錶
-
MySQL數據庫同步到工作錶
-
工作錶同步到MySQL數據庫
-
MySQL數據庫同步到MySQL數據庫
-
-
配置數據源和目的地數據
-
如果是工作錶,隻需選擇工作錶所在的應用
-
如果是外部數據庫,則需要配置連接數據庫的信息
外部數據庫在連接時需要一些先決條件,在右側我們列齣相關項和方法指南。
-
-
建立同步任務
配置好數據庫連接後,需要確定數據的同步方式。支持兩種:
- 僅同步數據
- 同步時需要對數據進行處 理
選擇數據同步方式後,需要配置數據對象之間的字段映射關係,然後點擊右上角“創建X個同步任務”。
- 每個數據錶都需要單獨配置。每個數據錶都會分彆建立對應的同步任務。
-
查看驗證同步數據效果
- 查看現有錶數據是否全部同步
- 更新源數據錶記錄看是否同步
- 新增一行記錄看是否同步
管理同步任務
同步任務創建後,可以調整相關設置,也可以查看任務運行的狀態和已同步的數據量。在任務監控中,用戶還可以查看任務纍計運行時長、纍計讀取和寫入數據量、最近讀取和寫入數據量的麯綫圖。
修改任務
ETL數據處理能力
ETL屬於數據集成的增強能力,ETL代錶Extract(提取)、Transform(轉換)、Load(加載),它涵蓋瞭將數據從一個數據源提取齣來,經過各種處理和轉換,最後加載到另一個數據源的全過程。
在數據集成中,提供瞭四個功能,在數據處理完成後再同步數據到目的地數據庫中。
-
篩選過濾後同步
-
多錶連接後同步
-
分類匯總後同步
-
數據閤並後同步
是否觸發工作流
點擊同步任務名稱,可以配置同步的數據是否觸發工作流。
目的錶中刪除數據後還會同步嗎
-
將源錶數據同步到目的錶A後,如果在錶A錶中刪除瞭一些記錄(沒有徹底刪除),源錶中記錄的數據有修改,目標錶A中會恢復這些記錄的,並繼續保存同步。
-
如果將刪除的數據徹底刪除,則不會進行同步。
-
徹底刪除後,如果想繼續同步這些記錄,可以重新建一個同步任務
徹底刪除是指清空迴收站或在迴收站中繼續刪除瞭記錄。
管理數據源
數據源界麵裏保存著用戶在創建連接器過程中創建的所有數據源和數據目的地連接信息。你可以在創建其它同步任務時,直接使用已創建的數據源。請放心,用戶在連接信息中輸入的密碼會加密存儲,HAP也有完善的機製來保證這些信息不被開發人員查看和解密。
在新建連接器時,選擇已有數據源。
字段同步規則
不支持同步的字段
序號 | 控件名稱 | 控件類型編號 | 說明 |
---|---|---|---|
1 | 大寫金額 | 25 | |
2 | 備注 | 10010 | |
3 | 自由連接 | 21 | |
4 | 嵌入 | 45 | |
5 | 分割綫 /分段 | 22 | |
6 | 標簽頁 | 52 | |
7 | 關聯記錄 | 29 | 多條 |
8 | 他錶字段 | 30 | 僅同步 |
9 | 簽名 | 42 | |
10 | 條碼 | 47 | |
11 | API查詢 | 49 | 查詢按鈕 |
12 | 文本識彆 | 43 | |
13 | 關聯查詢 | 51 |