跳至主要内容

集成中心-數據集成介紹


「集成中心-數據集成」的核心能力是要解決各個業務係統數據分散的問題。它通過直接對接數據庫的方式來實現數據的實時同步。用戶隻需要配置簡單的字段映射規則,就可以實現數據庫和工作錶的同步,也支持數據庫之間的數據同步。可以解決以下4類場景問題:

  • 將舊係統的數據批量遷移到本平臺
  • 將其他係統的數據實時同步到本平臺中使用
  • 本平臺中的數據實時同步到其他數據庫中使用
  • 作為一個連接橋梁,實現不同數據庫之間的數據同步

目前支持的數據庫類型有以下幾種:

數據庫作為數據源作為目的地支持版本
工作錶-
MySQL5.6, 5.7, 8.0.x
同時支持:阿裏雲、騰訊雲
SQL Server2012, 2014, 2016, 2017, 2019
同時支持:阿裏雲、騰訊雲
Oracle9i、10g、11g、12c+
PostgreSQL9.6, 10, 11, 12+
MongoDB>= 3.6
同時支持:阿裏雲、騰訊雲
MariaDB10.3及以上
同時支持:阿裏雲、騰訊雲
IBM db211.5x
Kafka2.3.x

集成步驟概述

入口

在首頁依次點擊左側導航 > 集成中心,即可進入數據集成模塊。

此功能僅組織的超級管理員或組織應用管理員可見。

集成的三個步驟

創建連接器

連接器是建立兩端數據庫的連接及字段映射關係,在創建連接器的過程中,用戶可以為同一個數據源的多張錶一次性建立多個同步任務。

  1. 選擇“源數據”類型和“目的地”類型

    如源數據和目的地都支持MySQL,那麼可以實現的同步功方式有為下麵4種:

    • 工作錶同步到工作錶

    • MySQL數據庫同步到工作錶

    • 工作錶同步到MySQL數據庫

    • MySQL數據庫同步到MySQL數據庫

  2. 配置數據源和目的地數據

    • 如果是工作錶,隻需選擇工作錶所在的應用

    • 如果是外部數據庫,則需要配置連接數據庫的信息

      外部數據庫在連接時需要一些先決條件,在右側我們列齣相關項和方法指南。

  3. 建立同步任務

    配置好數據庫連接後,需要確定數據的同步方式。支持兩種:

    • 僅同步數據
    • 同步時需要對數據進行處理

    選擇數據同步方式後,需要配置數據對象之間的字段映射關係,然後點擊右上角“創建X個同步任務”。

    • 每個數據錶都需要單獨配置。每個數據錶都會分彆建立對應的同步任務。
  4. 查看驗證同步數據效果

    • 查看現有錶數據是否全部同步
    • 更新源數據錶記錄看是否同步
    • 新增一行記錄看是否同步

管理同步任務

同步任務創建後,可以調整相關設置,也可以查看任務運行的狀態和已同步的數據量。在任務監控中,用戶還可以查看任務纍計運行時長、纍計讀取和寫入數據量、最近讀取和寫入數據量的麯綫圖。

修改任務

ETL數據處理能力

ETL屬於數據集成的增強能力,ETL代錶Extract(提取)、Transform(轉換)、Load(加載),它涵蓋瞭將數據從一個數據源提取齣來,經過各種處理和轉換,最後加載到另一個數據源的全過程。

在數據集成中,提供瞭四個功能,在數據處理完成後再同步數據到目的地數據庫中。

  • 篩選過濾後同步

  • 多錶連接後同步

  • 分類匯總後同步

  • 數據閤並後同步

ETL詳情介紹

是否觸發工作流

點擊同步任務名稱,可以配置同步的數據是否觸發工作流。

目的錶中刪除數據後還會同步嗎

  1. 將源錶數據同步到目的錶A後,如果在錶A錶中刪除瞭一些記錄(沒有徹底刪除),源錶中記錄的數據有修改,目標錶A中會恢復這些記錄的,並繼續保存同步。

  2. 如果將刪除的數據徹底刪除,則不會進行同步。

  3. 徹底刪除後,如果想繼續同步這些記錄,可以重新建一個同步任務

徹底刪除是指清空迴收站或在迴收站中繼續刪除瞭記錄。

管理數據源

數據源界麵裏保存著用戶在創建連接器過程中創建的所有數據源和數據目的地連接信息。你可以在創建其它同步任務時,直接使用已創建的數據源。請放心,用戶在連接信息中輸入的密碼會加密存儲,HAP也有完善的機製來保證這些信息不被開發人員查看和解密。

在新建連接器時,選擇已有數據源。

字段同步規則

不支持同步的字段

序號控件名稱控件類型編號說明
1大寫金額25
2備注10010
3自由連接21
4嵌入45
5分割綫 /分段22
6標簽頁52
7關聯記錄29多條
8他錶字段30僅同步
9簽名42
10條碼47
11API查詢49查詢按鈕
12文本識彆43
13關聯查詢51

字段同步的示例說明

係統字段支持同步

序號控件類型字段名稱控件類型編號字段ID(係統字段為固定值)
1文本框記錄ID2rowid
2成員擁有者26ownerid
3成員創建人26caid
4日期和時間創建時間16ctime
5日期和時間最近修改時間16utime
6成員最近修改人26uaid
7文本框流程名稱2wfname
8成員節點負責人26wfcuaids
9成員發起人26wfcaid
10日期和時間發起時間16wfctime
11日期和時間節點開始時間16wfrtime
12公式(日期)剩餘時間38wfftime
13單選流程狀態11wfstatus

數據集成示範

  • 場景1:工作錶同步到另一張工作錶

  • 場景2:本地MySQL同步到工作錶

場景一:工作錶同步到另一張工作錶

在同一個組織內,工作錶數據可以同步到本應用或其他應用的工作錶中。這種常見於一些基礎數據的被多個應用使用,但隻需由專人在一個地方維護即可。

場景示例:將客戶1錶數據,同步客戶2錶中。

創建連接器

1、選擇數據庫類型

數據源和目的地類型都是工作錶,然後點擊下一步。

2、配置源數據

選擇客戶1錶所在的應用,點擊下一步。

這裏僅顯示齣您作為應用管理員加入的應用。

3、配置目的地

選擇客戶2錶所在的應用,這裏為瞭演示我們將兩張錶放在瞭一個應用下。點擊下一步創建同步任務。

創建同步任務

1、選擇同步方式

選擇[僅同步數據]

2、選擇源數據要同步的錶

點擊[+數據對象]選擇要同步的錶(客戶1錶),然後點擊確定按鈕。

可以一次選擇要同步的多張錶,也可以繼續點擊[+數據對象]添加要同步的錶。

3、配置和目的地工作錶的字段映射

由於客戶2錶已經存在,我們選擇已有工作錶。

  • 建立字段映射,選擇對應的字段,和導入Excel類似。

創建同步任務時,錶名或者字段名不允許包含以下特殊字符:

`~!@#$%^&*()\-+=\<\>?:"{}|,./;'\[\]·!¥…()—《》?:“”【】、;‘,。『』「」

4、重復數據處理

對於重復數據,可以指定一個依據字段,此字段如果重復,錶示此行已經存在,可以選擇同步時是覆蓋還是跳過不更新

勾選在本次同步數據之前,徹底清空目標錶數據後,第一次同步時將清空客戶2錶的數據。

5、同步數據時是否觸發工作流

同步數據時,工作錶的數據可能進行新增、更新和刪除的操作,如果有相關事件觸發的流程,可以配置是否觸發。

6、增加同步聯係人錶

點擊[+數據對象],選擇聯係人錶,點擊確認

由於目的地的聯係人錶不存在,我們選擇新建。

  • 確定新錶的名稱

  • 勾選要同步的字段

  • 確定新錶的字段名稱

  • 指定新錶的標題字段

7、建立同步任務

當所有錶的映射關係配置完畢後,點擊右上角[創建X個同步任務]

創建成功後會有提醒

8、驗證同步效果

進入客戶錶2,可以看到客戶錶1的所有數據都同步進來瞭。

聯係人2錶也自動創建並同步進來瞭數據

您可以繼續修改客戶1錶已有的數據,或新增一行數據,然後驗證客戶2錶是否已經同步。

通過日誌我們看到,同步數據時不是一次性全量寫入,而是分批寫入的。在同步數據時,需要排隊執行,如果當時全網同步任務太多,可能會慢一點。

場景二:MySQL同步到工作錶

創建連接器

1、選擇數據源和目的地的數據庫類型

2、配置數據庫連接

連接外部數據庫時,需要滿足一些先決條件後纔可以訪問。 如數據庫版本號、權限、IP白名單等設置。

在右側有針對此數據庫的鏈接指南,您按文中的提示進行操作,保證正常鏈接。

滿足先決條件後,在左側填入訪問數據庫的信息,最後點擊[測試連接]按鈕,成功後點擊右上角下一步。

3、配置目的地數據

選擇要同步到哪個應用,然後點擊右上角的下一步按鈕。

創建同步任務

1、選擇同步方式:僅同步數據

2、選擇要同步的數據庫和錶並點擊確定

3、確定目的工作錶並建立字段映射

  • 我們這裏選擇新建錶並命名

  • 選擇要同步的字段

  • 確定每個字段的名稱和字段類型

  • 指定標題字段

全部確定後,點擊右上角[創建X個同步任務]

同步到已有錶

如果選擇瞭同步到已有錶,則可以根據數據中的主鍵來識彆重復數據,如果重復瞭可以選擇時覆蓋還是跳過。

4、驗證同步效果

進入數據集成應用,可以看到新建瞭一張産品錶並添加瞭記錄。您可以繼續修改MySQL中的數據或新增數據,驗證同步效果。


文檔問題反饋

文檔中是否有錯彆字、內容過期、難以理解等問題? 點此給我們反饋吧