100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > MPP集群基本概念和搭建

MPP集群基本概念和搭建

时间:2020-08-09 06:12:29

相关推荐

MPP集群基本概念和搭建

MPP集群基本概念和搭建

1,概述:

为了支持海量数据存储和处理,高并发处理,高可用性等需求,提供高端数据仓库解决方案,DM提供了大规模并行处理MPP架构。

2,基本概念:

MPP:即大规模并行处理##################################################################EP:MPP环境内每个实际运行的实例节点称为一个执行节点(基于主备的MPP环境内备机除外)###########################################################主/从EP: MPP是对等无共享架构,对整个系统来说,每个节点作用都是一样的,用户可以连接到其中任何一个进行操作。对每个用户会话来说,执行节点具有主从之分,用户会话实际连接的那个节点称为主EP,其余的节点都称为从EP

3,数据分布

DM MPP 系统中的数据分布在各 EP 中,支持表数据的哈希分布、随机分布、复制分布、范围分布、LIST 分布类型,用户可根据应用的实际情况为表数据选择合适的分布类型。

4,相关配置文件

dm.ini MPP 相关配置项dm.ini 是 DM 数据库实例的配置文件,通过配置该文件可以设置 DM 数据库服务器的各种功能和性能选项

dmmal.ini 配置项dmmal.ini 是 MAL 系统的配置文件,此配置文件生效的前提是 dm.ini 中的参数MAL_INI 置为 1。使用同一套 MAL 系统的所有实例,MAL 系统配置文件要严格保持一致

dmmpp.ctldmmpp.ctl 是 DM MPP 系统的控制文件,它是一个二进制文件,用户不能直接进行配置。用户需要首先配置 dmmpp.ini,然后利用 dmctlcvt 工具进行转换得到生成的dmmpp.ctl 文件

需要停止 DM MPP 系统的运行时,只需要停止每个 EP 的 DM 实例即可,没有特别的顺 序要求。 若在 DM MPP 系统的运行过程中,某一 EP 发生故障停机,则整个 MPP 系统将处于不能正常服务的状态。当前所有的用户会话会被系统断开,不能进行全局登录,只能进行本地登 录。因此,为了保证 MPP 系统的高可用性,我们强烈建议采用 DM MPP 与数据守护相结合 的部署方案

搭建过程

1,两个节点安装数据库

2,节点1 端口5236,节点2 端口5237

3,初始化环境一致

初始化1./dminit path=/dm8/ db_name=czw instance_name=czw01 port_num=5236初始化2./dminit path=/dm8/ db_name=czw instance_name=czw02 port_num=5237

分别对两个实例的 dm.ini 进行配置

1:INSTANCE_NAME = czw01PORT_NUM = 5236MAL_INI = 1MPP_INI = 12:INSTANCE_NAME = czw02PORT_NUM = 5237MAL_INI = 1MPP_INI = 1

配置 dmmal.ini(两个一样)

1:[MAL_INST1]MAL_INST_NAME = czw01MAL_HOST = 10.0.0.63MAL_PORT = 5269MAL_INST_HOST = 10.0.0.63MAL_INST_PORT = 5236[MAL_INST2]MAL_INST_NAME = CZW02MAL_HOST = 10.0.0.64MAL_PORT = 5270MAL_INST_HOST = 10.0.0.64MAL_INST_PORT = 5237

配置 dmmpp.ctl(全部配置)

dmmpp.ctl 是一个二进制文件,用户不能直接配置,需要先配置 dmmpp.ini

[SERVICE_NAME1]MPP_SEQ_NO=0MPP_INST_NAME=CZW01[SERVICE_NAME2]MPP_SEQ_NO=1MPP_INST_NAME=CZW02转换./dmctlcvt type=2 src=/dm8/czw/dmmpp.ini dest=/dm8/czw/dmmpp.ctl

经过前面四个步骤,DM MPP 环境已经配置完成了。分别启动 CZW01和 CZW02 的 DM 数据库实例(顺序不分先后),DM MPP 系统即能正常运行,用户就可以登录任一 EP 进行数据 库操作了。

分别注册服务启动

./dm_service_installer.sh -t dmserver -dm_ini /dm8/czw/dm.ini -p czw01./DmServiceczw01 start./dm_service_installer.sh -t dmserver -dm_ini /dm8/czw/dm.ini -p czw02./DmServiceczw02 start

可以插入数据测试

两个节点都能查到相同的数据,验证成功

详情关注

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。