greenplum使用gpcopy数据传输方案

2021 年 4 月 20 日 by Leave a Comment



    • 一 架构基础环境

    主机mdw和备机mdwbak节点对等，都采用2+4架构。

    1.1 主机列表

    主机 IP地址 备机 IP地址
    mdw 192.168.0.20 mdwbak 192.168.0.30
    smdw 192.168.0.21 smdwbak 192.168.0.31
    sdw1 192.168.0.22 sdw1bak 192.168.0.32
    sdw2 192.168.0.23 sdw2bak 192.168.0.33
    sdw3 192.168.0.24 sdw3bak 192.168.0.34
    sdw4 192.168.0.25 sdw4bak 192.168.0.35

    1.2 CPU及内存

    所有节点都采用华为云服务器，CPU核心数为16核心，内存为32G，节点总数为12。主机备机都采用内部万兆网络。磁盘为单独挂载磁盘，采用高性能IO磁盘，实际最高读写性能为350M/s。

    1.3 计算节点和镜像节点

    计算节点primary数量为主备机都为24，镜像节点mirror数量为主备机都为24，总节点数量为48。

    1.4 数据库版本

    数据库采用greenplum官方发布的5.27.1开源版本。

     

    二 环境磁盘IO和网络IO性能基准测试

    2.1 主机mdw磁盘和网络IO性能测试

    磁盘IO：

    [gpadmin@mdw ~]$ gpcheckperf -f gpconfigs/gp_seg_hosts -d /data1 -d /data2 -r ds
    /usr/local/greenplum-db/./bin/gpcheckperf -f gpconfigs/gp_seg_hosts -d /data1 -d /data2 -r ds

    --------------------
    -- DISK WRITE TEST
    --------------------

    --------------------
    -- DISK READ TEST
    --------------------

    --------------------
    -- STREAM TEST
    --------------------

    ====================
    == RESULT
    ====================

    disk write avg time (sec): 426.09
    disk write tot bytes: 268517507072
    disk write tot bandwidth (MB/s): 601.00
    disk write min bandwidth (MB/s): 150.07 [sdw3]
    disk write max bandwidth (MB/s): 150.39 [sdw1]

    disk read avg time (sec): 425.65
    disk read tot bytes: 268517507072
    disk read tot bandwidth (MB/s): 601.61
    disk read min bandwidth (MB/s): 150.24 [sdw3]
    disk read max bandwidth (MB/s): 150.52 [sdw4]

    stream tot bandwidth (MB/s): 67542.73
    stream min bandwidth (MB/s): 15459.31 [sdw1]
    stream max bandwidth (MB/s): 18507.68 [sdw2]

    主机四个主机节点磁盘采用通用性磁盘，性能为150M/s。

    网络IO：

    [gpadmin@mdw ~]$ gpcheckperf -f gpconfigs/gp_all_hosts -r N -d /tmp
    /usr/local/greenplum-db/./bin/gpcheckperf -f gpconfigs/gp_all_hosts -r N -d /tmp

    -------------------
    -- NETPERF TEST
    -------------------

    ====================
    == RESULT
    ====================
    Netperf bisection bandwidth test
    mdw -> smdw = 896.900000
    sdw1 -> sdw2 = 892.210000
    sdw3 -> sdw4 = 879.870000
    smdw -> mdw = 889.740000
    sdw2 -> sdw1 = 781.620000
    sdw4 -> sdw3 = 884.400000

    Summary:
    sum = 5224.74 MB/sec
    min = 781.62 MB/sec
    max = 896.90 MB/sec
    avg = 870.79 MB/sec
    median = 889.74 MB/sec

    内部网络采用万兆网络，由于是云上虚拟机环境，速率仅有800M/s左右。

    2.2 备机mdwbak磁盘及网络IO性能测试

    磁盘IO：

    [gpadmin@mdwbak ~]$ gpcheckperf -f gpconfigs/gp_seg_hosts -d /data1 -d /data2 -r ds
    /usr/local/greenplum-db/./bin/gpcheckperf -f gpconfigs/gp_seg_hosts -d /data1 -d /data2 -r ds

    --------------------
    -- DISK WRITE TEST
    --------------------

    --------------------
    -- DISK READ TEST
    --------------------

    --------------------
    -- STREAM TEST
    --------------------

    ====================
    == RESULT
    ====================

    disk write avg time (sec): 182.41
    disk write tot bytes: 268517244928
    disk write tot bandwidth (MB/s): 1403.82
    disk write min bandwidth (MB/s): 350.64 [sdw2bak]
    disk write max bandwidth (MB/s): 351.10 [sdw1bak]

    disk read avg time (sec): 181.99
    disk read tot bytes: 268517244928
    disk read tot bandwidth (MB/s): 1407.10
    disk read min bandwidth (MB/s): 351.35 [sdw2bak]
    disk read max bandwidth (MB/s): 351.97 [sdw4bak]

    stream tot bandwidth (MB/s): 69788.36
    stream min bandwidth (MB/s): 16867.88 [sdw4bak]
    stream max bandwidth (MB/s): 17669.53 [sdw3bak]

    备机磁盘采用超高IO磁盘，磁盘IO为350M/s左右。

    网络IO：

    [gpadmin@mdwbak ~]$ gpcheckperf -f gpconfigs/gp_all_hosts -r N -d /tmp
    /usr/local/greenplum-db/./bin/gpcheckperf -f gpconfigs/gp_all_hosts -r N -d /tmp

    -------------------
    -- NETPERF TEST
    -------------------

    ====================
    == RESULT
    ====================
    Netperf bisection bandwidth test
    mdwbak -> smdwbak = 788.660000
    sdw1bak -> sdw2bak = 889.240000
    sdw3bak -> sdw4bak = 790.290000
    smdwbak -> mdwbak = 728.640000
    sdw2bak -> sdw1bak = 793.870000
    sdw4bak -> sdw3bak = 780.970000

    Summary:
    sum = 4771.67 MB/sec
    min = 728.64 MB/sec
    max = 889.24 MB/sec
    avg = 795.28 MB/sec
    median = 790.29 MB/sec

    备机节点内部网络带宽传输速率和主机一样。

    三 gpcopy同步数据

    3.1 主机mdw和备机mdwbak互信

    gpcopy 方式加载数据，可以启用并行进行加载,并行数量范围为1-64512，默认并行数量为4，启用并行根据服务器内存资源分配，初始分配以60个做并行数。

    3.2 主备机所有节点配置ssh互信

    将主备机所有节点ip和主机名映射放置于/etc/hosts文件中，（请使用root用户添加），如下：

    [root@mdw opt]# tail -12 /etc/hosts
    192.168.0.20 mdw
    192.168.0.21 smdw
    192.168.0.22 sdw1
    192.168.0.23 sdw2
    192.168.0.24 sdw3
    192.168.0.25 sdw4
    192.168.0.30 mdwbak
    192.168.0.31 smdwbak
    192.168.0.32 sdw1bak
    192.168.0.33 sdw2bak
    192.168.0.34 sdw3bak
    192.168.0.35 sdw4bak

    将主机mdw上的/etc/hosts文件拷贝到其他所有节点（使用root用户操作）

    [root@mdw opt]# for ip in mdw smdw sdw1 sdw2 sdw3 sdw4 mdwbak smdwbak sdw1bak sdw2bak sdw3bak sdw4bak;do
    scp /etc/hosts $ip:/etc;
    done

    配置所有主机名到主机mdw上gpadmin用户下的~/gpconfigs下的iplist文件中，如下：

    [gpadmin@mdw ]$ cat ~/gpconfigs/iplist
    mdw
    smdw
    sdw1
    sdw2
    sdw3
    sdw4
    mdwbak
    smdwbak
    sdw1bak
    sdw2bak
    sdw3bak
    sdw4bak

    使用gpssh-exkeys配置所有节点互信（使用gpadmin用户）

    [gpadmin@mdw ]$ gpssh-exkeys -f ~/gpconfigs/iplist

    3.3 主机mdw导出全局数据和数据库对象结构

    [gpadmin@mdw ~]$ #创建备份目录
    [gpadmin@mdw ~]$ mkdir -p /data/pg_dump
    [gpadmin@mdw ~]$ #导入临时主机mdw和备机smdw环境变量
    [gpadmin@mdw ~]$ export OLD_PORT=5432
    [gpadmin@mdw ~]$ export OLD_HOST=mdw
    [gpadmin@mdw ~]$ export DBNAME=testdb
    [gpadmin@mdw ~]$ export OLD_PORT=5432
    [gpadmin@mdw ~]$ export OLD_HOST=mdwbak
    [gpadmin@mdw ~]$ export DBNAME=testdb
    [gpadmin@mdw ~]$ cd /data/pg_dump/
    [gpadmin@mdw pg_dump]$ pg_dumpall -p $OLD_PORT -h $OLD_HOST -s -g --resource-queues -f $DBNAME.global.ddl
    [gpadmin@mdw pg_dump]$ pg_dump -p $OLD_PORT -h $OLD_HOST -s testdb -f $DBNAME.ddl
    [gpadmin@mdw pg_dump]$ ls
    testdb.ddl testdb.global.ddl

    使用psql远程恢复DDL数据到备机mdwbak

    [gpadmin@mdw ~]$ psql -h mdwbak -p 5432 -d postgres -f testdb_global.ddl
    [gpadmin@mdw ~]$ psql -h mdwbak -p 5432 -d postgres -f testdb.ddl

    3.4 使用 gpcopy 将主机mdw数据同步到备机 mdwbak

    并行数量取决于内存资源限制，此环境服务器32G内存资源，使用60个并发传输数据，如果服务器资源大于64G，可以使用初始化100个并发做同步，如果出现无法分配内存资源，按照初始化并发数乘以80%的方式配置并发数。如，100*80%=80，如果还无法分配内存资源，那么以此迭代，即80*80%=64个。

    [gpadmin@mdw ~]$ time gpcopy -d testdb -D testdb --dest-host mdwbak --dest-port 5432 --dest-user gpadmin --truncate --source-host mdw --source-port 5432 --source-user gpadmin --jobs 60
    .....忽略部分.....

    20210411:03:37:58 gpcopy:gpadmin:mdw:029561-[INFO]:-[testdb] Finished copying database "Progress: (1/1) DBs, (2000/2000) tables done"
    20210411:03:37:58 gpcopy:gpadmin:mdw:029561-[INFO]:-------------------------------------------------
    20210411:03:37:58 gpcopy:gpadmin:mdw:029561-[INFO]:-Total elapsed time: 30.438132557s
    20210411:03:37:58 gpcopy:gpadmin:mdw:029561-[INFO]:-Total transferred data 722.7MB, transfer rate 250.1GB/h
    20210411:03:37:58 gpcopy:gpadmin:mdw:029561-[INFO]:-Copied 1 databases
    20210411:03:37:58 gpcopy:gpadmin:mdw:029561-[INFO]:- Database testdb: successfully copied 2000 tables, skipped 0 tables, failed 0 tables
    20210411:03:37:58 gpcopy:gpadmin:mdw:029561-[INFO]:-Copy completed successfully

    最终结果

    使用2000张表做模拟，每张表数据为10w，同步时间大约为50s。

    Filed Under: Oracle

    Speak Your Mind

    *

    京ICP备14059771号-2