100字范文,内容丰富有趣,生活中的好帮手!
100字范文 > 先电云计算大赛大数据平台搭建

先电云计算大赛大数据平台搭建

时间:2024-06-20 00:10:23

相关推荐

先电云计算大赛大数据平台搭建

该操作是在虚拟机的基础上进行搭建,用CRT连接。该操作需要两个节点,分别是master和slave1节点。我并没有展示使用CRT进行常规操作,比如说:挂载镜像那个地方,这是因为是虚拟机所有可以,如果在服务器上就不能使用,而是进行常规操作。

镜像:

XianDian-BigData-v2.2

CentOS-7-x86_64-DVD-1511.iso

IP可自行设置

配置主机名

【master】

# hostnamectl set-hostname master# bash

【slave1】

# hostnamectl set-hostname slave1# bash

修改hosts文件

【master】(内网IP)

# vi /etc/hosts192.168.200.131 master.hadoop master192.168.200.133 slave1.hadoop

【slave1】(内网IP)

# vi /etc/hosts192.168.200.131 master.hadoop192.168.200.133 slave1.hadoop slave1

备份(两个都执行)

#mv /etc/yum.repos.d/* /media/

挂载镜像

【master】

#lsblk#mkdir /opt/centos#mount -o loop /dev/sr0 /mnt/#cp -rvf /mnt/* /opt/centos/#umount /mnt/#mount -o loop /dev/sr1 /mnt/#cp -rvf /mnt/* /opt/#umount /mnt/

将XianDian-BigData-v2.2.iso挂在到/mnt目录下,将其中的ambari解压到/opt目录下,并在master节点配置ftp服务。

注意:

因为安装大数据相关软件包时,可能会用到相关依赖软件包,所以需要配置Centos7 Yum源,这里可以采用IAAS中的Centos7 Yum源。

由于该操作是基于虚拟机而不是在服务器上搭建,所以需要centos镜像,并且可以使用lsblk,这个lsblk我在前两个平台搭建都有介绍。

创建master节点的repo文件

#vi /etc/yum.repos.d/ambari.repo

[centos]name=centosbaseurl=file:///opt/centosgpgcheck=0enabled=1[ambari]name=ambaribaseurl=file:///opt/ambari-2.6.0.0gpgcheck=0enabled=1

搭建ftp服务器,开启并设置自启

#yum install vsftpd –y#vi /etc/vsftpd/vsftpd.conf添加anon_root=/opt/保存退出#systemctl start vsftpd#systemctl enable vsftpd

创建slave1节点repo文件

#vi /etc/yum.repos.d/ambari.repo

[centos]name=centosbaseurl=ftp://192.168.100.131/centosgpgcheck=0enabled=1[ambari]name=ambaribaseurl=ftp://192.168.100.131/ambari-2.6.0.0gpgcheck=0enabled=1

关闭防火墙(两节点都关)

【master、slave1】

#systemctl stop firewalld#systemctl disable firewalld

清理yum源

【master】

#yum clean all#yum list#vi /etc/selinux/configSELINUX=permissive#setenforce 0#getenforcepermissive

【slave1】

# yum clean all# yum list

启动httpd服务

#yum -y install httpd#cd /mnt/#ll#cp -rvf HDP* /var/www/html/#systemctl enable httpd.service#systemctl status httpd.service

配置ntp

【master】

# yum -y install ntp# vi /etc/ntp.conf注释或者删除以下四行server 0.centos. iburstserver 1.centos. iburstserver 2.centos. iburstserver 3.centos. iburst添加以下两行server 127.127.1.0 fudge 127.127.1.0 stratum 10#systemctl enable ntpd#systemctl start ntpd

【slave1】

# yum -y install ntpdate# ntpdate master.hadoop# systemctl enable ntpdate

安装配置JDK

【master】

在挂载镜像中,我是使用的/dev/sr1,如果在服务器上便是真正的镜像XianDian-BigData-v2.2.iso。

# mkdir /usr/jdk64/ # mount -o loop /dev/sr1 /mnt/# cd /mnt/# tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/# vi /etc/profileexport JAVA_HOME=/usr/jdk64/jdk1.8.0_77export PATH=$JAVA_HOME/bin:$PATH# source /etc/profile#java –versionjava version "1.8.0_77"Java(TM) SE Runtime Environment (build 1.8.0_77-b03)Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

【slave1】

在第二个命令是使用的masterIP,在执行完这个命令,输入的是进入虚拟机root的密码。

#mkdir /usr/jdk64/#scp 172.24.14.106://mnt/jdk-8u77-linux-x64.tar.gz .# tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk64/# vi /etc/profileexport JAVA_HOME=/usr/jdk64/jdk1.8.0_77export PATH=$JAVA_HOME/bin:$PATH# source /etc/profile#java –versionjava version "1.8.0_77"Java(TM) SE Runtime Environment (build 1.8.0_77-b03)Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)

配置ambari-server

【master】

# yum -y install ambari-server

安装MariaDB数据库

【master】

# yum install mariadb mariadb-server mysql-connector-java

启动服务

【master】

# systemctl enable mariadb# systemctl start mariadb

配置MySQL

【master】

在配置MySQL中如果命令执行后一直无法展示,到时候使用reboot命令重启一下,就可以了。我在执行这个命令时,有时候出错,就是使用的reboot重启一下,就好了

#mysql_secure_installation按enter确认后设置数据库root密码,我们这里设置为“bigdata”Remove anonymous users? [Y/n] yDisallow root login remotely? [Y/n] nRemove test database and access to it? [Y/n] yReload privilege tables now? [Y/n] y

创建ambari数据库

# mysql -uroot -pbigdataMariaDB [(none)]> create database ambari;MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'localhost' identified by 'bigdata';MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'%' identified by 'bigdata';MariaDB [(none)]> use ambari;MariaDB [ambari]> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sqlMariaDB [ambari]> quit

安装配置ambari-server

【master】

#vi /etc/profileexport buildNumber=2.6.0.0# ambari-server setupWARNING: SELinux is set to 'permissive' mode and temporarily disabled.OK to continue [y/n] (y)? Customize user account for ambari-server daemon [y/n] (n)? nChecking JDK...[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7[3] Custom JDK==============================================================================Enter choice (1): 3Path to JAVA_HOME: /usr/jdk64/jdk1.8.0_77Validating JDK on Ambari Server...pleting setup...Configuring database... Enter advanced database configuration [y/n] (n)? yConfiguring database...====================================================================Choose one of the following options:[1] - PostgreSQL (Embedded)[2] - Oracle[3] - MySQL[4] - PostgreSQL[5] - Microsoft SQL Server (Tech Preview)[6] - SQL Anywhere====================================================================Enter choice (1): 3Hostname (localhost): Port (3306): Database name (ambari): Username (ambari): Enter Database Password (bigdata): Proceed with configuring remote database connection properties [y/n] (y)? Ambari Server 'setup' completed successfully.# ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

启动ambari-server服务

【master】

# ambari-server start

登陆界面http://192.168.200.131:8080/

登录用户名密码为admin:admin

以上内容便是平台搭建。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。