Contents
  1. 1. 就是这个神奇的网站
    1. 1.1. 创建集群
    2. 1.2. Select stack
  2. 2. 部署规划
    1. 2.1. 服务规划
    2. 2.2. 安装agent
    3. 2.3. 选择服务
    4. 2.4. 配置服务
    5. 2.5. 开始部署
  3. 3. 管理Hadoop

用Ambari2管理Hadoop_第一部分:环境

就是这个神奇的网站

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。

Ambari主要给你带来以下内容:

  • 通过一步一步的安装向导简化了集群供应。
  • 预先配置好关键的运维指标(metrics),可以直接查看Hadoop Core(HDFS和MapReduce)及相关项目(如HBase、Hive和HCatalog)是否健康。
  • 支持作业与任务执行的可视化与分析,能够更好地查看依赖和性能。
  • 通过一个完整的RESTful API把监控信息暴露出来,集成了现有的运维工具。
  • 用户界面非常直观,用户可以轻松有效地查看信息并控制集群。

创建集群

访问Ambari网址,看到登录界面:

用默认的用户名和密码admin/admin登录。


创建一个集群,点击Launch Install Wizard


起一个集群的名称,例如Education

Select stack


如图,选择HDP的版本,我用的是Centos6,把其他勾选去掉,只保留redhat6,并根据第一部分的内容,输入本地的yum源地址:
HDP Base URL:

http://ambari.hdp.novalocal/hdp/centos6/HDP-2.2.4.2

HDP-UTILS Base URL:

http://ambari.hdp.novalocal/hdp/centos6/HDP-UTILS-1.1.0.20 

部署规划

服务规划

  • node1:Zookeeper Server
  • node2:Zookeeper Server
  • node3:Zookeeper Server
  • node4:NameNode、History Server 、ResourceManager、Hive Metastore、HBase Metastore、Oozie Server、DRPC Server、Kafka Broker、Knox Gateway
  • node5:SNameNode、、App Timeline Server、HiveServer2、WebHCat Server、HBase Metastore 、Oozie Server、 Nimbus、Spark History Server、Kafka Broker、Knox Gateway
  • node6:Falcon Server、Storm UI Server、Metrics Collector、client
  • node7:Datanode,NodeManager,Supervisor,RegionServer,Flume
  • node8:Datanode,NodeManager,Supervisor,RegionServer,Flume
  • node9:Datanode,NodeManager,Supervisor,RegionServer,Flume

安装agent


目标主机输入主机名,一行一台主机,可以使用正则表达式,例如我输入node[1-9].hdp.novalocal


Ambari会自动安装Ambari agent,并检查主机的环境是否满足要求。

如果你根据第一部分的内容配置好所有主机,环境检查都会顺利通过。

选择服务


选择需要部署的服务,因为是测试环境,把所有服务都选上。

Spark需要依赖HDP2.2.2,不犹如向前进Proceed



根据服务规划来分配主服务器。


根据服务规划来分配从服务器和客户端。

配置服务


红色提示的是需要进行配置的服务。


配置Hive的数据库。我用的是Mysql独立的数据库主机。按照以下部署进行:

  • 安装数据库:数据库服务器作为独立一台主机,要先安装好mysql数据库
  • 创建数据库:创建hive用的数据库和账号密码
  • 在Ambari服务器配置驱动例如我的命令是ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.35-bin.jar,JDBC官方驱动包可以在这里下载 http://dev.mysql.com/downloads/connector/j/
  • 在页面填写数据库信息:在网页填写数据库服务器地址和数据库名称账号密码等信息


配置Oozie的数据库和配置Hive的数据库方法一样。从复的步骤可以省略不做。


设置Knox的主密码

开始部署


预览服务配置信息,没有错误就进行下一步安装了。


整个安装进度可以看到,如果出现错误请Retry几次。安装完成会自动启动并测试各种服务是否正常。

管理Hadoop


高大上的感觉吧?在这里可以启动,停止服务。增加服务器,增加服务。配置各个服务,且配置信息以版本记录自由切换。

Contents
  1. 1. 就是这个神奇的网站
    1. 1.1. 创建集群
    2. 1.2. Select stack
  2. 2. 部署规划
    1. 2.1. 服务规划
    2. 2.2. 安装agent
    3. 2.3. 选择服务
    4. 2.4. 配置服务
    5. 2.5. 开始部署
  3. 3. 管理Hadoop