ambari部署hadoop集群 资源分配,ambari部署hadoop集群怎么卸载重新安装
一、准备工作
以Apache的Ambari 2.0.1为例。1.SSH 的无密码登录
Ambari的服务器将SSH到代理的机器,复制并执行一些命令。因此,我们需要配置从Ambari服务器到代理的SSH免密码登录。在这个例子中,zwshen37可以在没有密码的情况下SSH到zwshen38和zwshen39。2.确保 Yum 可以正常工作
通过公共库安装Hadoop软件,背后其实是应用Yum安装公共库的rpm包。因此,你所有的机器都必须能够访问互联网。3.确保 home 目录的写权限
安巴里会创建一些OS用户。4.确保机器的 Python 版本大于或等于 2.6
.(红帽6.6,默认为2.6)。二、安装
AmbariServer
1.
取 Ambari 的公共库文件
wget http://public-repo-1 . Horton works . com/Ambari/centos 6/2 . x/updates/2 . 0 . 1/Ambari.repo将下载的Ambari . repo文件复制到Linux系统目录/etc/yum.repos.d/然后依次执行以下命令:yum clean all yum list grepamari如果你2.安装AmbariServer
YUM安装完成后安装Ambari-Server配置:amari-server设置在这个交互设置中,使用默认配置即可。Ambari将使用Postgres数据库,默认安装并使用Oracle的JDK。默认情况下,使用Ambari GUI的登录用户是admin/admin。并指定ambari服务器的运行用户为root3.启动
AmbariServer
Ambari-Server start启动Ambari服务器后,可以从浏览器登录,默认端口为8080。以这个环境为例,在浏览器地址栏输入http://ip:8080,登录密码为admin/admin。登录Ambari后的页面如下图所示:三、部署hadoop2.x集群
1.
命名集群的名字。本环境为 bigdata
。登录Ambari后,点击“启动安装向导”按钮,开始创建自己的大数据平台2.
选择一个 Stack
。这个栈相当于Hadoop生态系统软件的集合。栈的版本越高,里面的软件版本越高。这里我们选择HDP2.2,对应的Hadoop版本是2.6.x3.
指定 Agent 机器
(如果配置了域,必须包含完整的域名,比如这个环境的域是example.com)。这些机器将安装Hadoop和其他软件包。指定当时在Ambari服务器机器上生成的私钥,不要在主机上选择“执行手动注册)并且不要使用ssh”。因为我们需要Ambari服务器自动安装Ambari代理安装页面。4.Ambari服务器会自动将Ambari代理安装到刚才指定的计算机列表中。安装后,代理将向Ambari服务器注册。注册成功后,可以继续下一步。5.选择要安装的软件的名称。本文选择HDFS、YARN MapReduce2、Zoopkeeper、Storm和Spark作为环境。选择越多,需要的机器内存就越多。选择后,可以继续下一步。选择第6页。选择安装软件指定的主机和从机,以及客户机7的配置。服务的大多数配置已经有了默认值,不需要修改。如果不需要调优,可以直接使用默认配置。有些服务会有一些必要的手动配置项,必须在下一步之前手动输入。8.Ambari将总结一个安装列表供用户查看。这里没问题,直接进入下一步。9.等待安装完成。10.ambari的dashboard页面使用ambari管理Hadoop集群左侧的服务列表1.
Service Level Action(服务级别的操作)
,点击你想要操作的任何服务。以MapReduce2为例。当你点击MapReduce2,你会看到这个服务的相关信息。如下图所示安装Hadoop集群后,你不知道这个集群是否可用。这时,我们可以运行“运行服务检查”。点击此命令后,下图进度会显示