華爲雲數據遷移（Cloud Data Migration，簡稱CDM）是一種高(gāo)效、易用(yòng)的批量數據遷移服務，提供同構/異構數據源之間批量數據遷移服務，幫助客戶實現(xiàn)數據自(zì)由流動。支持客戶自(zì)建和(hé)公有雲上(shàng)的文(wén)件系統、關系數據庫、數據倉庫、大(dà)數據雲服務、對(duì)象存儲等數據源。
在數據治理(lǐ)中心（DataArts Studio）服務中，CDM作(zuò)爲其中的“數據集成”組件使用(yòng)，産品能(néng)力與獨立的CDM服務保持一緻。CDM服務基于分布式計(jì)算(suàn)框架，利用(yòng)并行化處理(lǐ)技術，支持用(yòng)戶穩定高(gāo)效地對(duì)海量數據進行移動，實現(xiàn)不停服數據遷移，快(kuài)速構建所需的數據架構。
産品功能(néng)
1.表/文(wén)件/整庫遷移
支持批量遷移表或者文(wén)件，支持同構/異構數據庫之間的整庫遷移，一個作(zuò)業即可遷移幾百張。
2.增量數據遷移
支持文(wén)件增量遷移、關系型數據庫增量遷移、HBase/CloudTable增量遷移，以及使用(yòng)Where條件配合時(shí)間變量函數實現(xiàn)增量數據遷移。
3.事(shì)務模式遷移
支持當CDM作(zuò)業執行失敗時(shí)，将數據回滾到(dào)作(zuò)業開(kāi)始之前的狀态，自(zì)動清理(lǐ)目的表中的數據。
4.字段轉化
支持去隐私、字符串操作(zuò)、日期操作(zuò)等常用(yòng)字段的數據轉換功能(néng)。
5.文(wén)件加密
在遷移文(wén)件到(dào)文(wén)件系統時(shí)，CDM支持對(duì)寫入雲端的文(wén)件進行加密。
6.MD5校檢一緻性
支持使用(yòng)MD5校驗，檢查端到(dào)端文(wén)件的一緻性，并輸出校驗結果。
7.髒數據歸檔
支持将遷移過程中處理(lǐ)失敗的、被清洗過濾掉的、不符合字段轉換或者不符合清洗規則的數據單獨歸檔到(dào)髒數據日志中，便于用(yòng)戶查看(kàn)。并支持設置髒數據比例阈值，來(lái)決定任務是否成功。
8.正則表達式分隔半結構化文(wén)本
支持在創建表/文(wén)件遷移作(zuò)業時(shí)，對(duì)簡單CSV格式的文(wén)件，可以使用(yòng)字段分隔符進行字段分隔。
産品優勢
1.支持多種數據源批量入湖
滿足近20種常用(yòng)數據源，滿足數據在雲上(shàng)和(hé)雲下(xià)的不同遷移場景。
2.遷移效率高(gāo)
基于分布式計(jì)算(suàn)框架進行數據任務執行和(hé)數據傳輸優化，并針對(duì)特定數據源寫入做了(le)專項優化，遷移效率高(gāo)。
3.簡單易用(yòng)
免編程，向導式任務開(kāi)發界面，通過簡單配置幾分鐘(zhōng)即可完成遷移任務開(kāi)發。
4.成本低(dī)
按需付費，根據使用(yòng)資源量進行計(jì)費，無須自(zì)建專用(yòng)軟硬件。
5.實時(shí)監控
通過雲監控服務實時(shí)監控CDM集群的各項性能(néng)指标。
應用(yòng)場景
1.大(dà)數據遷移上(shàng)雲
大(dà)數據遷移上(shàng)雲向導式任務管理(lǐ)，即開(kāi)即用(yòng)，輕松上(shàng)手。
.png)
大(dà)數據遷移上(shàng)雲
2.數據批量入湖
數據批量入湖，支持用(yòng)戶本地數據全量和(hé)T+1增量入湖。支持關系型數據庫、大(dà)數據、文(wén)件、NoSQL多種數據源。能(néng)夠通過遷移作(zuò)業的where條件配合調度系統實現(xiàn)增量同步，基于數據源特點采取并發拆分增強遷移性能(néng)。
數據批量入湖