最近在Youtube看Docker视频的过程中不幸看到了Mesos的介绍,然后就有一种一见如故的感觉,最终根据mesosphere官网的文档在IBM的Bluemix虚拟机上搭建了基于ZooKeeper+ Mesos + Marathon的平台。
搭建之前先简单了解下各个组件是做什么的。(来自wikipedia及其他网络)
ZooKeeper:Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。官网:/
Mesos:来自mesosphere的定义是Mesos是下一代的云数据中心的kernel,它是Apache下的开源分布式资源管理框架,作者之一Benjamin在Mesosconf上一直强调Mesos只做kernel的事情,只做scheduling,并不实际运行任务。现该作者也去了Mesosphere公司做云数据中心操作系统DC/OS的工作(看起来很令人兴奋的软件)。
Marathon:是Mesos的一个框架,能够支持运行长期任务,也与这个名字有点关联,马拉松本身就是长时间要完成的任务,它可以提供REST API服务,可以通过HAProxy实现服务发现和负载均衡。(负载均衡可以看mesosphere公司开源的marathon-lb /mesosphere/marathon-lb/)
Docker:就不用介绍了吧。记住它是应用容器引擎,可以给微服务提供完美的运行环境,尽量一个容器只有一个服务。
下面说一下服务器的运行环境:总共六台服务器,三台运行Mesos-master,4台运行Mesos-slave,服务器都是IBM Bluemix上申请的虚拟机,处于一个***网络里,底层是基于Openstack的架构,在底层是Softlayer和Cloudfoundry。
软件安装:
RedHat 6 / CentOS 6
#Addtherepositorysudorpm-Uvh/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpmyum-yinstallmesosmarathonzookeeper
所有机器用ansible安装Java:
ansiblemesos-mshell-a"wget/otn-pub/java/jdk/8u73-b02/jdk-8u73-linux-x64.tar.gz"ansiblemesos-mshell-a"tarzxfjdk-8u73-linux-x64.tar.gz-C/usr/java/
导入jre到.zshrc,然后用ansible分发下去:
exportJAVA_HOME=/usr/java/jdk1.8.0_73exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
Master Node Setup
ZooKeeper的配置:
在三台ZooKeeper server上设置ID,这个数字必须是1到255的整数,并且每个节点的ID是不一样的。
sudozookeeper--server-initialize--myid=<YOURIDHERE>
编辑/etc/zookeeper/conf/zoo.cfg,在每台机器上都需要添加zk 集群的服务器名称,ip地址,端口号等信息:server.A=B:C:D
server.1=192.168.0.33:2888:3888server.2=192.168.0.28:2888:3888server.3=192.168.0.31:2888:3888
A:代表一个1-255的整数,是第几号服务器,可以随便定义。
B:代表服务器的ip地址。
C:代表服务器与集群中的Leader通信的端口。
D:代表如果集群中的Leader down了,需要用这个端口来重新选举,如果使用一台主机多个zk实例,这个D的值不能与C相同。
zk最终的配置:
#egrepv/etc/zookeeper/conf/zoo.cfgmaxClientCnxns=50tickTime=2000initLimit=10syncLimit=5dataDir=/var/lib/zookeeperclientPort=2181server.1=192.168.0.33:2888:3888server.2=192.168.0.28:2888:3888server.3=192.168.0.31:2888:3888
一份简单的zk配置就完成了,sudo service zookeeper restart。
Mesos & Marathon的配置:
在每一个master节点添加以下文件,并把master的ip地址写进去:
#cat/etc/mesos/zkzk://192.168.0.33:2181,192.168.0.28:2181,192.168.0.31:2181/mesos
Quorum的设定原则是Mesos master的数量除以2得到的整数,我们用了3个maser,除以2 是1.5,得到的整数是2,所以这里用2
#cat/etc/mesos-master/quorum2
Hostname的设置是可选的,如果有DNS的前提下,可以不用设置,但是为了避免后期出现不能解析域名的情况,我这里设置的hostname,在每一台机器(包括slave)的/etc/mesos-{master,slave}/hostname的文件里写上改机器的ip地址,注意:每台机器只需要写自己机器的ip即可,不需要把所有机器的ip都写进去:
$ansibleall-mshell-a'cat/etc/mesos-master/hostname'-sbastion|success|rc=0>>192.168.0.33dbmaster|success|rc=0>>192.168.0.28dbslave2|success|rc=0>>192.168.0.31
然后将hostname 复制到Marathon的目录一份:
cp/etc/mesos-master/hostname/etc/marathon/conf/
如果你不需要master的机器跑slave的话,需要将slave的功能override
sudostopmesos-slavesudosh-c"echomanual>/etc/init/mesos-slave.override"
然后没有问题的话就可以start Mesos-master和Marathon了。
ansiblemaster-mshell-a"startmesos-msater&&startmarathon"
Slave Node Setup
安装mesos-slave软件
Debian/Ubuntu
#Setup#sudoapt-keyadv--keyserverhkp://:80--recvE56151BF#DISTRO=$(lsb_release-is|tr'[:upper:]''[:lower:]')#CODENAME=$(lsb_release-cs)###Addtherepository#echo"deb/${DISTRO}${CODENAME}main"|\#sudotee/etc/apt/sources.list.d/mesosphere.list#sudoapt-get-yupdate#sudoapt-get-yinstallmesos
RedHat/CentOS6
##Addtherepository#sudorpm-Uvh#sudoyum-yinstallmesos
如果系统使用的是Ubuntu like的系统,需要将自动安装的ZooKeeper禁用
sudoservicezookeeperstopsudosh-c"echomanual>/etc/init/zookeeper.override"
配置zk,跟master节点的内容一样,可以使用ansible 分发到slave节点:
#catzkzk://192.168.0.33:2181,192.168.0.28:2181,192.168.0.31:2181/mesos
要支持运行Docker,还需要在slave节点/etc/mesos-slave/添加两个文件:containerizers,executor_registration_timeout,文件内容如下:
#ibmcloudatdbarbiter.shankerin/etc/mesos-slave[15:43:23]$catcontainerizersdocker,mesos#ibmcloudatdbarbiter.shankerin/etc/mesos-slave[15:43:27]$catexecutor_registration_timeout5mins
需要配置的就这么多,接下来就是要在slave节点上禁用mesos-master,要不然选举的时候会出莫名其妙的错的
sudoservicemesos-masterstopsudosh-c"echomanual>/etc/init/mesos-master.override"
然后开启slave服务
Ubuntu:
sudoservicemesos-slaverestart
CentOS:
sudostartmesos-slave
然后在浏览器里输入一个master节点的ip:5050看看是否有Mesos的console出现,如果输入的ip地址不是leader,mesos会自动跳转到Leader的ip地址上:
登录进Mesos-master的dashborad之后会发现有显示Cluster Name, 当前Leader的ip地址,有多少Slaves, Resources具体情况,Active Tasks,即当前的任务都有哪些,Completed Tasks,:
如果不确认当前的Marathon的Leader ip是哪个,可以看Mesos-master的Framework页面,来查看Marathon的ip:
然后Marathon的界面如下:
利用这个UI界面可以很容易的创建应用,并且可以以json的方式编辑,只要右上角这个JSON Mode被选中即可:
比如我们创建一个python的应用程序,来看看后来Docker是否正常运行:
有了这个平台创建基于Docker的应用非常容易,而且扩展起来也是秒级的,比如我们创建了一个Nginx的应用,然后需要扩展到5个,只需要点击Scale Application,输入5,后台就自动扩展了5个Nginx的应用。
然后就是故障自动转移,加入我们去后台终止一个正在运行的容器,Marathon会自动检测到正在运行的任务与设置的不一样,而立马新创建一个应用。
初了用web ui的方式来创建任务,也可以使用API的形式:
比如我这里有个2048游戏的json格式的文件,使用的p_w_picpath为nginx:latest,将本地的/home/ibmcloud/2048-maser/ 映射到容器的nginx根目录,采用BRIDGE网络,expose容器的80端口,并对改容器进行http的健康检查:
$catnginx-bridge-2048game.json{"id":"/nginx","cpus":1,"mem":128,"disk":0,"instances":1,"container":{"type":"DOCKER","volumes":[{"containerPath":"/usr/share/nginx/html/","hostPath":"/home/ibmcloud/2048-master/","mode":"RO"}],"docker":{"p_w_picpath":"nginx","network":"BRIDGE","portMappings":[{"containerPort":80,"hostPort":0,"protocol":"tcp","servicePort":80,"labels":{}}],"privileged":false,"parameters":[],"forcePullImage":false}},"healthChecks":[{"path":"/","protocol":"HTTP","portIndex":0,"gracePeriodSeconds":120,"intervalSeconds":30,"timeoutSeconds":5,"maxConsecutiveFailures":3,"ignoreHttp1xx":false}],"portDefinitions":[{"port":10003,"protocol":"tcp","labels":{}}]}
在Marathon的Leader机器上运行
#curl-uusername:password-i-H'Content-Type:application/json'-d@nginx-bridge-2048game.json192.168.0.33:8080/v2/appsHTTP/1.1201CreatedDate:Tue,07Jun07:59:17GMTX-Marathon-Leader:http://192.168.0.33:8080Cache-Control:no-cache,no-store,must-revalidatePragma:no-cacheExpires:0Location:http://192.168.0.33:8080/v2/apps/nginxContent-Type:application/json;qs=2Transfer-Encoding:chunkedServer:Jetty(9.3.z-SNAPSHOT){"id":"/nginx","cmd":null,"args":null,"user":null,"env":{},"instances":1,"cpus":1,"mem":128,"disk":0,"executor":"","constraints":[],"uris":[],"fetch":[],"storeUrls":[],"ports":[80],"portDefinitions":[{"port":80,"protocol":"tcp","labels":{}}],"requirePorts":false,"backoffSeconds":1,"backoffFactor":1.15,"maxLaunchDelaySeconds":3600,"container":{"type":"DOCKER","volumes":[{"containerPath":"/usr/share/nginx/html/","hostPath":"/home/ibmcloud/2048-master/","mode":"RO"}],"docker":{"p_w_picpath":"nginx","network":"BRIDGE","portMappings":[{"containerPort":80,"hostPort":0,"servicePort":80,"protocol":"tcp","labels":{}}],"privileged":false,"parameters":[],"forcePullImage":false}},"healthChecks":[{"path":"/","protocol":"HTTP","portIndex":0,"gracePeriodSeconds":120,"intervalSeconds":30,"timeoutSeconds":5,"maxConsecutiveFailures":3,"ignoreHttp1xx":false}],"readinessChecks":[],"dependencies":[],"upgradeStrategy":{"minimumHealthCapacity":1,"maximumOverCapacity":1},"labels":{},"acceptedResourceRoles":null,"ipAddress":null,"version":"-06-07T07:59:18.003Z","residency":null,"tasksStaged":0,"tasksRunning":0,"tasksHealthy":0,"tasksUnhealthy":0,"deployments":[{"id":"c30b9f6e-786c-45bd-9e7e-cc6cc001d91d"}],"tasks":[]}#
为了方便,可以将这个命令写入到脚本里运行:
$catrunapp.sh#!/bin/bashcurl-i-H'Content-Type:application/json'-d@"$1"192.168.0.33:8080/v2/apps
可以看到我们的2048游戏已经可以玩了:
最后强调一下安全问题,因为我把Marathon暴漏到公网了,而且没加认证,导致有坏蛋扫描到我的机器,并且创建了一个Metasploit的任务对我的服务器进行***,好在我的安全性做的还可以,凶手没有得逞,参考这篇文章:http://shanker./1189689/1785797
然后marathon开启认证的方式是这样运行的:
marathon--http_credentials"username:password"
注意问题:
1.需要添加MESOS_QUORUM到/etc/default/mesos-master, 即使/etc/mesos-master/quorum 有这个,也必须要做这一步(来自stackoverflow的解决方案)
# cat /etc/default/mesos-master
PORT=5050
ZK=`cat /etc/mesos/zk`
MESOS_QUORUM=`cat /etc/mesos-master/quorum`
2.slave start fails, need to delete the slave.info file /tmp/mesos/meta/slaves/latest/slave.info
3.当遇到主节点不是当前节点,浏览器自动转发的时候,用到的转发的文件是/etc/mesos-master/hostname,是每台机器的hostname只写自己的ip地址,而不是将所有master节点ip都写上,
然后marathon 的hostname同master的hostname,cp 过去即可。
4.遇到这个问题是因为你的slave没有禁用mesos-master,或者开启了mesos-master进程
Failed to create ZooKeeper, zookeeper_init: No such file or directory
5.遇到以下问题需要查看/etc/mesos-master/quorum 是否都设置的数量,而且/etc/default/mesos-master配置文件也有QUORUM的设置,请参考问题1
Replica in VOTING status received a broadcasted recover request from192.168.0.33:37798
6. 查看mesos 网页的的LOG ,出现以下内容,才是正常的
I052407:53:33.24283227506http.cpp:312]HTTPGETfor/master/statefrom124.193.167.1:18148withUser-Agent='Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.36(KHTML,likeGecko)Chrome/50.0.2661.75Safari/537.36'
I052407:53:41.83422327507http.cpp:312]HTTPGETfor/master/statefrom192.168.0.33:37798withUser-Agent='Mozilla/5.0(WindowsNT6.1;rv:46.0)Gecko/0101Firefox/46.0'
I052407:53:44.24118327509http.cpp:312]HTTPGETfor/master/statefrom124.193.167.1:18148withUser-Agent='Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.36(KHTML,likeGecko)Chrome/50.0.2661.75Safari/537.36'
I052407:53:52.03437427502http.cpp:312]HTTPGETfor/master/statefrom192.168.0.33:37798withUser-Agent='Mozilla/5.0(WindowsNT6.1;rv:46.0)Gecko/0101Firefox/46.0'
I052407:53:55.24188327504http.cpp:312]HTTPGETfor/master/statefrom124.193.167.1:18148withUser-Agent='Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.36(KHTML,likeGecko)Chrome/50.0.2661.75Safari/537.36'
I052407:54:02.23634327505http.cpp:312]HTTPGETfor/master/statefrom192.168.0.33:37798withUser-Agent='Mozilla/5.0(WindowsNT6.1;rv:46.0)Gecko/0101Firefox/46.0'
I052407:54:06.24301727508http.cpp:312]HTTPGETfor/master/statefrom124.193.167.1:18148withUser-Agent='Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.36(KHTML,likeGecko)Chrome/50.0.2661.75Safari/537.36'
I052407:54:13.14128427507http.cpp:312]HTTPGETfor/master/statefrom192.168.0.33:37798withUser-Agent='Mozilla/5.0(WindowsNT6.1;rv:46.0)Gecko/0101Firefox/46.0'
I052407:54:22.23888327509http.cpp:312]HTTPGETfor/master/statefrom124.193.167.1:18148withUser-Agent='Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.36(KHTML,likeGecko)Chrome/50.0.2661.75Safari/537.36'
I052407:54:23.34516527509http.cpp:312]HTTPGETfor/master/statefrom192.168.0.33:37798withUser-Agent='Mozilla/5.0(WindowsNT6.1;rv:46.0)Gecko/0101Firefox/46.0'
I052407:54:33.54516227509http.cpp:312]HTTPGETfor/master/statefrom192.168.0.33:37798withUser-Agent='Mozilla/5.0(WindowsNT6.1;rv:46.0)Gecko/0101Firefox/46.0'
I052407:54:34.24089827503http.cpp:312]HTTPGETfor/master/statefrom124.193.167.1:18148withUser-Agent='Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.36(KHTML,likeGecko)Chrome/50.0.2661.75Safari/537.36'
I052407:54:43.75538327504http.cpp:312]HTTPGETfor/master/statefrom192.168.0.33:37798withUser-Agent='Mozilla/5.0(WindowsNT6.1;rv:46.0)Gecko/0101Firefox/46.0'
8.要支持Docker任务,一定要添加这两个文件到salve下。
/etc/mesos-slave/{containerizers,executor_registration_timeout }
参考文档:
/getting-started/install/
/watch?v=hZNGST2vIds&feature=youtu.be
/watch?v=EgYyf3bSb8Q
/watch?v=_uw1ISM_uRU
欢迎补充!