该操作是在虚拟机的基础上进行搭建,用CRT连接。该操作需要两个节点,分别是master和slave1节点。我并没有展示使用CRT进行常规操作,比如说:挂载镜像那个地方,这是因为是虚拟机所有可以,如果在服务器上就不能使用,而是进行常规操作。
镜像:
XianDian-BigData-v2.2
CentOS-7-x86_64-DVD-1511.iso
IP可自行设置
配置主机名
【master】
# hostnamectl set-hostname master# bash
【slave1】
# hostnamectl set-hostname slave1# bash
修改hosts文件
【master】(内网IP)
# vi /etc/hosts192.168.200.131 master.hadoop master192.168.200.133 slave1.hadoop
【slave1】(内网IP)
# vi /etc/hosts192.168.200.131 master.hadoop192.168.200.133 slave1.hadoop slave1
备份(两个都执行)
#mv /etc/yum.repos.d/* /media/
挂载镜像
【master】
#lsblk#mkdir /opt/centos#mount -o loop /dev/sr0 /mnt/#cp -rvf /mnt/* /opt/centos/#umount /mnt/#mount -o loop /dev/sr1 /mnt/#cp -rvf /mnt/* /opt/#umount /mnt/
将XianDian-BigData-v2.2.iso挂在到/mnt目录下,将其中的ambari解压到/opt目录下,并在master节点配置ftp服务。
注意:
因为安装大数据相关软件包时,可能会用到相关依赖软件包,所以需要配置Centos7 Yum源,这里可以采用IAAS中的Centos7 Yum源。
由于该操作是基于虚拟机而不是在服务器上搭建,所以需要centos镜像,并且可以使用lsblk,这个lsblk我在前两个平台搭建都有介绍。
创建master节点的repo文件
#vi /etc/yum.repos.d/ambari.repo
[centos]name=centosbaseurl=file:///opt/centosgpgcheck=0enabled=1[ambari]name=ambaribaseurl=file:///opt/ambari-2.6.0.0gpgcheck=0enabled=1
搭建ftp服务器,开启并设置自启
#yum install vsftpd –y#vi /etc/vsftpd/vsftpd.conf添加anon_root=/opt/保存退出#systemctl start vsftpd#systemctl enable vsftpd
创建slave1节点repo文件
#vi /etc/yum.repos.d/ambari.repo
[centos]name=centosbaseurl=ftp://192.168.100.131/centosgpgcheck=0enabled=1[ambari]name=ambaribaseurl=ftp://192.168.100.131/ambari-2.6.0.0gpgcheck=0enabled=1
关闭防火墙(两节点都关)
【master、slave1】
#systemctl stop firewalld#systemctl disable firewalld
清理yum源
【master】
#yum clean all#yum list#vi /etc/selinux/configSELINUX=permissive#setenforce 0#getenforcepermissive
【slave1】
# yum clean all# yum list
启动httpd服务
#yum -y install httpd#cd /mnt/#ll#cp -rvf HDP* /var/www/html/#systemctl enable httpd.service#systemctl status httpd.service
配置ntp
【master】
# yum -y install ntp# vi /etc/ntp.conf注释或者删除以下四行server 0.centos. iburstserver 1.centos. iburstserver 2.centos. iburstserver 3.centos. iburst添加以下两行server 127.127.1.0 fudge 127.127.1.0 stratum 10#systemctl enable ntpd#systemctl start ntpd
【slave1】
# yum -y install ntpdate# ntpdate master.hadoop# systemctl enable ntpdate
安装配置JDK
【master】
在挂载镜像中,我是使用的/dev/sr1,如果在服务器上便是真正的镜像XianDian-BigData-v2.2.iso。
# mkdir /usr/jdk64/ # mount -o loop /dev/sr1 /mnt/# cd /mnt/# tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/# vi /etc/profileexport JAVA_HOME=/usr/jdk64/jdk1.8.0_77export PATH=$JAVA_HOME/bin:$PATH# source /etc/profile#java –versionjava version "1.8.0_77"Java(TM) SE Runtime Environment (build 1.8.0_77-b03)Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
【slave1】
在第二个命令是使用的masterIP,在执行完这个命令,输入的是进入虚拟机root的密码。
#mkdir /usr/jdk64/#scp 172.24.14.106://mnt/jdk-8u77-linux-x64.tar.gz .# tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/# vi /etc/profileexport JAVA_HOME=/usr/jdk64/jdk1.8.0_77export PATH=$JAVA_HOME/bin:$PATH# source /etc/profile#java –versionjava version "1.8.0_77"Java(TM) SE Runtime Environment (build 1.8.0_77-b03)Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
配置ambari-server
【master】
# yum -y install ambari-server
安装MariaDB数据库
【master】
# yum install mariadb mariadb-server mysql-connector-java
启动服务
【master】
# systemctl enable mariadb# systemctl start mariadb
配置MySQL
【master】
在配置MySQL中如果命令执行后一直无法展示,到时候使用reboot命令重启一下,就可以了。我在执行这个命令时,有时候出错,就是使用的reboot重启一下,就好了
#mysql_secure_installation按enter确认后设置数据库root密码,我们这里设置为“bigdata”Remove anonymous users? [Y/n] yDisallow root login remotely? [Y/n] nRemove test database and access to it? [Y/n] yReload privilege tables now? [Y/n] y
创建ambari数据库
# mysql -uroot -pbigdataMariaDB [(none)]> create database ambari;MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'localhost' identified by 'bigdata';MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'%' identified by 'bigdata';MariaDB [(none)]> use ambari;MariaDB [ambari]> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sqlMariaDB [ambari]> quit
安装配置ambari-server
【master】
#vi /etc/profileexport buildNumber=2.6.0.0# ambari-server setupWARNING: SELinux is set to 'permissive' mode and temporarily disabled.OK to continue [y/n] (y)? Customize user account for ambari-server daemon [y/n] (n)? nChecking JDK...[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7[3] Custom JDK==============================================================================Enter choice (1): 3Path to JAVA_HOME: /usr/jdk64/jdk1.8.0_77Validating JDK on Ambari Server...pleting setup...Configuring database... Enter advanced database configuration [y/n] (n)? yConfiguring database...====================================================================Choose one of the following options:[1] - PostgreSQL (Embedded)[2] - Oracle[3] - MySQL[4] - PostgreSQL[5] - Microsoft SQL Server (Tech Preview)[6] - SQL Anywhere====================================================================Enter choice (1): 3Hostname (localhost): Port (3306): Database name (ambari): Username (ambari): Enter Database Password (bigdata): Proceed with configuring remote database connection properties [y/n] (y)? Ambari Server 'setup' completed successfully.# ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar
启动ambari-server服务
【master】
# ambari-server start
登陆界面http://192.168.200.131:8080/
登录用户名密码为admin:admin
以上内容便是平台搭建。