Categories
程式開發

GaussDB遷移實戰:我的DataSync工具使用心得


本文由 dbaplus 社群授權轉載。

背景

在上篇文章中,介紹了使用SDR工具進行Oracle到GaussDB的數據遷移過程,文中提及過在SDR之前還曾使用DataSync工具進行遷移測試;雖然最終採用SDR作為正式遷移方案,但DataSync本身也有其可取之處,本文將對之前的測試過程做一個簡單的回顧。

1、環境信息

1)硬件配置信息

GaussDB遷移實戰:我的DataSync工具使用心得 1

GaussDB遷移實戰:我的DataSync工具使用心得 2

2)軟件配置信息

GaussDB側操作系統及數據庫軟件版本如下所示:

GaussDB遷移實戰:我的DataSync工具使用心得 3

ORACLE側操作系統及數據庫軟件版本如下所示:

GaussDB遷移實戰:我的DataSync工具使用心得 4

由於本次文章的重點不在於環境的搭建,所以操作系統及GaussDB的安裝過程就不細述。

Datasync是什麼

DataSync是華為提供的GaussDB 100數據遷移工具,支持從Sybase、 Oracle、 MySQL、 GaussDB 100V100R003C10和SQL Server遷移數據至GaussDB 100 V300R001數據庫。支持在線遷移和離線遷移兩種數據遷移方式。配置好源庫以及目標庫相關配置信息後,啟動遷移工具即可,運行過程中會生成相關的日誌文件和報告,便於用戶進行日常的管理及維護。

1、Datasync工具使用注意事項

Datasync工具約束和限制如下:

  • 使用時必須確保遷移數據庫的服務器和被遷移數據庫的服務器可以正常連接。
  • 使用時用戶應提前創建好目標庫表結構,確保源表與目標表的字段順序和表結構一致、字段類型兼容。 (並非必要條件)
  • 使用時需保證通過配置的IP、端口、用戶名、密碼能夠正確連接數據庫。
  • 使用時用戶需要評估目標數據庫佔用空間和割接過程中使用的空間是否滿足需求。
  • 使用時確保已在運行遷移工具的設備安裝JAVA,版本須為1.8及以上。
  • 使用時確保當前運行遷移工具設備的IP已配置在源數據庫和目標數據庫的白名單中,避免數據遷移工具連接數據庫失敗。
  • 用戶需要將需要導出的源數據庫JDBC驅動放置在dependency-jars中且驅動包名需要跟規定的一致,否則會導致連接數據庫失敗。
  • GaussDB 100 V300R001數據庫密碼不支持” “(空格)和”;”(分號),否則工具無法使用zsql命令連接數據庫。 l 確保配置用戶有權限執行相關操作,否則會導致運行工具達不到預期結果。
  • data_path配置項中所有路徑均需遵循遷移工具路徑白名單規則:路徑只允許包含大小寫字母、數字、 ”, ‘/’, ‘:’, ‘-‘, ‘_’,不能以’-‘開頭,不能同時包含/ 和。

2、Datasync工具準備

1)掛載NFS目錄(可選項,Datasync支持部署在源端,目標端,第三方機器等,這次測試中掛載NFS只是為了盡量排除網絡傳遞數據文件可能帶來的效率影響)

在源庫服務器及目標端服務器同時掛載遷移用的NFS文件系統。

源庫操作:

su - root
mkdir /datasync
mount -F nfs -o rw,bg,hard,rsize=32768,wsize=32768,vers=3,nointr,proto=tcp,suid 192.168.xxx.xx:/vx/tycj_dcmp_tmp /datasync

在目標端操作:

su - root
mkdir /datasync
mount -t nfs -o rw,bg,hard,rsize=32768,wsize=32768,vers=3,nointr,proto=tcp,suid 188.0.xxx.xx:/vx/tycj_dcmp_tmp /datasync

2)上傳和解壓介質

① 上傳介質到NFS目錄

使用FTP工具上傳GAUSSDB100-V300R001C00-DATASYNC.tar.gz 至/datasync目錄。

② 解壓介質

在源庫服務器操作:

su - root
cd /datasync
tar -xvf GAUSSDB100-V300R001C00-DATASYNC.tar.gz

進入 GAUSSDB100-V300R001C00-DATASYNC.目錄繼續解壓

tar -xvftar -zxvf DataSync.tar.gz。

3)檢查java版本不低於1.8(源端目標端都要更新)

由於Datasync的腳本都需要依賴java驅動,要求服務器的java版本不低於1.8。

#java -version
Java version “1.8.0_231
Java(TM) SE Runtime Environment (build 1.8.0_231-b11)
Java HotSpot 64-Bit Server VM (build 25.231-b11, mixed mode)

4)把JDBC驅動包遷移到指定目錄

由於datasync本身沒有Oracle的JDBC的驅動包,需要提前把源庫的JDBC驅動包拷貝到dependency-jars目錄中(缺失這個驅動包,會在檢查配置時提示無法連接Oracle庫)。

在源庫服務器執行:

su - oracle
cd $ORACLE_HOME/jdbc/
cp ojdbc6.jar/datasync/GAUSSDB100-V300R001C00-DATASYNC/DataSync/dependency-jars/ojdbc8-12.2.0.1.jar

注意:ojdbc8-12.2.0.1.jar這個命名是固定的,必須要改成同名文件才能識別。

3、Datasync配置

1)Datasync有4個配置文件

如下所示:

  • cfg.ini:配置服務器和數據庫配置信息,必須配置該文件。
  • exp_obj.ini:配置需要導出或導入的庫、用戶或表,可以不配置該文件。
  • exclusive_obj.ini:配置遷移時需要排除的庫、用戶或表,可以不配置該文件。
  • ignore_ddl.ini:配置遷移時不要校驗DDL表結構的庫、用戶或表,可以不配置該文件

2)配置密碼密文

出於安全方面的考慮,遷移過程中需要用到的密碼都必須使用密文方式記錄在配置文件中,使用明文密碼會被當做錯誤密碼無法識別。因此在修改配置文件cfg.ini前,需要先將目標庫服務器賬號、源庫數據庫賬號、目標庫數據賬號等賬號密碼生成對應密文。

生成密碼密文方法如下:

① 生成導出數據庫密碼

java -jar DSS.jar -pwd 1

GaussDB遷移實戰:我的DataSync工具使用心得 5

② 生成導入數據庫密碼

java -jar DSS.jar -pwd 2

GaussDB遷移實戰:我的DataSync工具使用心得 6

③ 生成導入服務器密碼

java -jar DSS.jar -pwd 3

GaussDB遷移實戰:我的DataSync工具使用心得 7

-pwd後面跟的數字表示cfg.ini文件中要生成密文的密碼類型。取值範圍是:整數,[1, 9]。

具體含義如下:

  • 1:導出數據庫密碼;
  • 2:導入數據庫密碼;
  • 3:導入服務器密碼;
  • 4:導出操作所使用數據文件所在的遠程服務器密碼;
  • 5:導入操作所使用數據文件所在的遠程服務器密碼;
  • 6:導出數據庫生成truststore文件設置的密碼;
  • 7:導出數據庫生成keystore文件設置的密碼;
  • 8:導入數據庫生成truststore文件設置的密碼;
  • 9:導入數據庫生成keystore文件設置的密碼。

PS:密碼如果更新,或者重新生成新密文後,都需要更新配置文件裡面的密文;另外往Gaussdb導入的時候不能使用root用戶導入,必須使用其他賬號。

3)新建存儲導出文件目錄(如果沒有用NFS需要在源端和目標端分別創建)

mkdir -p /datasync/GAUSSDB100-V300R001C00-DATASYNC/DataSync/data

4)修改配置文件cfg.ini(部分配置參數內容)

cd /datasync/GAUSSDB100-V300R001C00-DATASYNC/DataSync/config
vi cfg.ini
{
        "flow_type":1,导出程序
        "export_db":{
                "database_type":2,   ##数据库类型Oracle
                "db":{
                        "ip":"192.168.xxx.xxx",
                        "username":"username",
                        "password":"B/AaX+yBemxxxxxxxx", ##刚刚生成的密文密码
                        "port":1522,
                        "db_name":"db_name",
                        "server_name":" server_name 1",
                        "trust_store":"",
                        "trust_store_password":"",
                        "key_store":"",
                        "key_store_password":""
                }
        },

        "import_db":{
                "database_type":6,   ##数据库类型为GaussDB
                "db":{
                        "ip":"192.168.xxx.xxx",
                        "username":"username",
                        "password":"Cbs48z0vL+AUyY1xxxxxxxxx",
                        "port":40000,
                         ……
                        ……
                },
                "server":{
                        "ip":"192.168.xxx.xxx",
                        "username":"username",
                        "password":"N2B+M6xIRQxxxxxxxxxxx",
                        "pub_key_file":"",
                        "port":22
                }
        },

        "data_path":{
                "export_local_path":"/datasync/GAUSSDB100-V300R001C00-DATASYNC/DataSync/data",
                "export_remote_path":{
                        "ip":"",
                        "username":"",
                        "password":"",
                        "pub_key_file":"",
                        "port":22,
                        "path":""
                },
                "import_local_path":"/datasync/GAUSSDB100-V300R001C00-DATASYNC/DataSync/data",
                ……
               ……
                }
        },


        "option":{
……
               ……
                "ignore_lost_table":3,     ##自动创建缺失的表
                "disable_trigger":true,     ##导入时禁用触发器
                "import_total_task":40,    ##资源允许下开启更大并行可提高导入效率
"export_total_task":25,    ##资源允许下开启更大并行可提高导出效率
……
…….
        }
}

部分參數配置可參考下表:

GaussDB遷移實戰:我的DataSync工具使用心得 8

Datasync執行(離線導入+導出)

1、在源端執行

1)進入到datasync安裝目錄

cd /datasync/GAUSSDB100-V300R001C00-DATASYNC/DataSync

2)啟動導出進程

java -jar DSS.jar -l /datasync/GAUSSDB100-V300R001C00-DATASYNC/DataSync/ -p /datasync/GAUSSDB100-V300R001C00-DATASYNC/DataSync/config/cfg.ini

3)查看導出結果

GaussDB遷移實戰:我的DataSync工具使用心得 9

2、在目標端執行

1)編輯cfg.ini文件,把”flow_type”改為2 表示執行導入操作

vi cfg.ini
“flow_type”:2

2)手動導入源庫所有表的DDL(可選)

在cfg.ini中有ignore_lost_table參數控制,可在目標庫不存在導入表時,選擇忽略該表並繼續導入/報錯並自動退出/自動創建不存在表。但在實際使用過程中,選擇自動創建表時受到的影響因素太多,容易出現較多的創建失敗對象,影響整體數據的導入成功率,所以建議手動導入DDL。

導入DDL的方式可通過在源庫用dbms_metadata.get_ddl包導出所有DDL,並手動刪除DDL中GaussDB不支持的參數(例如storage和maxtrans等)和修改需要轉換的數據類型(例如:數據類型long需要改成clob等),在datasync的安裝目錄下有一個TypeMappers目錄,裡面有OracleToGauss.json文件,包含大部分Oracle遷移到GaussDB需要轉換的數據類型,可作為參考。

OracleToGauss.json部分內容截圖:

GaussDB遷移實戰:我的DataSync工具使用心得 10

3)在目標庫提前創建用戶和表空間

用戶、用戶權限和用戶的默認表空間需要提前手動創建,具體創建語法跟Oracle基本一致。這裡就不一一細述。

4)啟動導入進程(在目標庫執行)

java -jar DSS.jar -l /datasync/GAUSSDB100-V300R001C00-DATASYNC/DataSync/ -p /datasync/GAUSSDB100-V300R001C00-DATASYNC/DataSync/config/cfg.ini 

命令和選項都跟導出命令是一樣的,區別就在於提前修改cfg.ini文件中的flow_type參數,從1改到2。

5)查看導入結果

導入進程跑完之後可以在安裝目錄的reports_日期目錄下面的LoadReport.csv文件查看詳細到的導入情況,下面是部分截圖:

GaussDB遷移實戰:我的DataSync工具使用心得 11

遷移結果的校驗

雖然Datasync工具本身會有較多的校驗過程和日誌記錄(包括失敗的行數和對像等),但是為了確保遷移結果的準確性,在遷入成功之後還是建議人工進行一次數據對象的對比校驗(正式的遷移還需要進行更嚴格的數據對比,這裡不一一鋪開)。

1、在源庫執查看對象情況

GaussDB遷移實戰:我的DataSync工具使用心得 12

2、在目標庫庫執查看對象情況

GaussDB遷移實戰:我的DataSync工具使用心得 13

通過對比可以看到索引、視圖等對像都有部分缺失,GaussDB暫時不支持DBLINK和存在索引字段總字節數不能超過3900等限制,這些需要協調業務層進行調整。

而在源庫導出時部分錶有中文亂碼、業務表之間太多外鍵約束等問題,容易導致部分視圖和索引會創建失敗。這種情況可以根據報錯信息,逐項修改。

小結

上述例子只是datasync最簡單的使用測試過程,實際上還可以通過配置exp_obj.ini、exclusive_obj.ini和ignore_ddl.ini等配置文件進行更細化的遷移配置。

在整個遷移過程中,Datasync遷移數據的過程可以簡單總結為:把源庫數據的DDL和數據按根據定義的格式分別導出,並完成數據的校驗和轉換,通過load文件的形式導入到GaussDB中,跟ORACLE數據泵的導數遷移過程相似。而在實際操作當中,仍然會有諸如中文亂碼/大字段表導出和校驗慢/外鍵約束限制等等問題,需要根據實際報錯信息進行逐一修改和調整。

在遷移測試的時候也發現,導出數據過程需要進行較長時間DDL和數據檢驗,即使開啟並行導出也無法明顯降低導出時間。另外,本次使用的Datasync版本暫時不支持增量備份,所以如要用Datasync進行數據遷移,可能需要準備較長的工程時間。

作者介紹

莫熙鐘,新炬網絡數據庫運維專家。精通Oracle、MySQL、PostgreSQL等數據庫運維技術,擁有Oracle OCP、MySQL OCP、GaussDB HCIP等認證,擁有豐富的數據庫系統架構轉型、分佈式改造、數據遷移經驗,擅長開源數據庫轉型技術支持,參與多個行業核心系統的Oracle到MySQL轉型項目。 2019年開始學習和研究華為GaussDB數據庫運維技術,目前正在積極參與國產數據庫轉型改造項目和國產數據庫通用型自動化運維工具的研發等工作。

原文鏈接

https://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg==&mid=2650786030&idx=2&sn=7b0a5b8397bef000949e63bf97dca7b4&chksm=f3f97d7bc48ef46d342e456987f349412a2ef6d4662df29da8d386667d88a4a8658d7964c334&scene=27#wechat_redirect