用Ambari2管理Hadoop_第二部分:部署
就是这个神奇的网站
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。
Ambari主要给你带来以下内容:
- 通过一步一步的安装向导简化了集群供应。
- 预先配置好关键的运维指标(metrics),可以直接查看Hadoop Core(HDFS和MapReduce)及相关项目(如HBase、Hive和HCatalog)是否健康。
- 支持作业与任务执行的可视化与分析,能够更好地查看依赖和性能。
- 通过一个完整的RESTful API把监控信息暴露出来,集成了现有的运维工具。
- 用户界面非常直观,用户可以轻松有效地查看信息并控制集群。
创建集群
访问Ambari网址,看到登录界面:
用默认的用户名和密码admin/admin
登录。
创建一个集群,点击Launch Install Wizard
起一个集群的名称,例如Education
Select stack
如图,选择HDP的版本,我用的是Centos6,把其他勾选去掉,只保留redhat6
,并根据第一部分的内容,输入本地的yum源地址:
HDP Base URL:
http://ambari.hdp.novalocal/hdp/centos6/HDP-2.2.4.2
HDP-UTILS Base URL:
http://ambari.hdp.novalocal/hdp/centos6/HDP-UTILS-1.1.0.20
部署规划
服务规划
- node1:Zookeeper Server
- node2:Zookeeper Server
- node3:Zookeeper Server
- node4:NameNode、History Server 、ResourceManager、Hive Metastore、HBase Metastore、Oozie Server、DRPC Server、Kafka Broker、Knox Gateway
- node5:SNameNode、、App Timeline Server、HiveServer2、WebHCat Server、HBase Metastore 、Oozie Server、 Nimbus、Spark History Server、Kafka Broker、Knox Gateway
- node6:Falcon Server、Storm UI Server、Metrics Collector、client
- node7:Datanode,NodeManager,Supervisor,RegionServer,Flume
- node8:Datanode,NodeManager,Supervisor,RegionServer,Flume
- node9:Datanode,NodeManager,Supervisor,RegionServer,Flume
安装agent
目标主机输入主机名,一行一台主机,可以使用正则表达式,例如我输入node[1-9].hdp.novalocal
Ambari会自动安装Ambari agent,并检查主机的环境是否满足要求。
如果你根据第一部分的内容配置好所有主机,环境检查都会顺利通过。
选择服务
选择需要部署的服务,因为是测试环境,把所有服务都选上。
Spark需要依赖HDP2.2.2,不犹如向前进Proceed
根据服务规划来分配主服务器。
根据服务规划来分配从服务器和客户端。
配置服务
红色提示的是需要进行配置的服务。
配置Hive
的数据库。我用的是Mysql独立的数据库主机。按照以下部署进行:
- 安装数据库:数据库服务器作为独立一台主机,要先安装好mysql数据库
- 创建数据库:创建
hive
用的数据库和账号密码 - 在Ambari服务器配置驱动例如我的命令是
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.35-bin.jar
,JDBC官方驱动包可以在这里下载 http://dev.mysql.com/downloads/connector/j/ - 在页面填写数据库信息:在网页填写数据库服务器地址和数据库名称账号密码等信息
配置Oozie
的数据库和配置Hive
的数据库方法一样。从复的步骤可以省略不做。
设置Knox
的主密码
开始部署
预览服务配置信息,没有错误就进行下一步安装了。
整个安装进度可以看到,如果出现错误请Retry
几次。安装完成会自动启动并测试各种服务是否正常。
管理Hadoop
高大上的感觉吧?在这里可以启动,停止服务。增加服务器,增加服务。配置各个服务,且配置信息以版本记录自由切换。