AMBARI安装配置详细版本
目录
1 HDP安装    1
1.1 准备工作    1
1.2 主机配置    2
1.2.1 FQDN主机名    2
1.2.2 ntp时间同步    3
1.2.3防火墙    3
1.2.4 ssh配置    3
1.2.4内核参数    4
1.2.5 yum本地仓库    4
1.3 mysql安装    7
1.4 ambari安装    9
1.5 ambari web界面配置    10
1 HDP安装
1.1准备工作
Centos6.8四台,配置如下host表:
192.168.10.167 hadoop1.wenhua hadoop1
192.168.10.168 hadoop2.wenhua hadoop2
192.168.10.169 hadoop3.wenhua hadoop3
192.168.10.170 hadoop4.wenhua hadoop4
角:
Hadoop1:namenode
Hadoop2:secondenamenode
Hadoop3: datanode
Hadoop4:mysql,yumrepo,webserver
软件包:
nginx-1.12.
ambari-2.6.0.
HDP-2.6.0.
HDP-UTILS-1.1.0.
hdf-ambari-mpack-3.0.2.
HDF-3.0.2.
mysql-5.7.
mysql-boost-5.7.
mysql-connector-java-5.1.
1.2主机配置
1.2.1 FQDN主机名
修改四台主机的主机名,并添加到每台主机host表里,host 表如下
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1        localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.167 hadoop1.wenhua hadoop1
192.168.10.168 hadoop2.wenhua hadoop2
192.168.10.169 hadoop3.wenhua hadoop3
192.168.10.170 hadoop4.wenhua hadoop4
注意前面的两条系统自带的不需要删除,否则后期安装可能会出问题
Hostname -f命令可以看到4台主机的名字为
Hadoop[1-4].wenhua即设置成功。
1.2.2 ntp时间同步
在每台主机上执行:
Yum -y install ntp
service  ntpd start
chkconfigntpd on
1.2.3防火墙
关闭iptables和selinux,并设置下次开机禁止启动
1.2.4 ssh配置
在hadoop1上设置ssh key免密码登陆其他3台主机,在hadoop1上执行
Ssh-keygen
Ssh-copy-id -i xxx.pub hadoop2.wenhua
Ssh-copy-id -i xxx.pub hadoop3.wenhua
Ssh-copy-id -i xxx.pub hadoop4.wenhua
1.2.4内核参数
echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never >/sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/enabled
echo never >/sys/kernel/mm/transparent_hugepage/defrag
并写入/etc/rc.local
以及系统打开文件数等参数设置
1.2.5 yum本地仓库
在每台主机安装yumpo
在主机hadoop4上,建立4个repo源并nginxhttp发布:
yum install yum-utilscreaterepoyum-plugin-priorities
nginx配置为conf.f
    server {
        listen      80;
server_name  192.168.10.170;
access_log  logs/yum.access.log  main;
        location / {
            root  /data/webserver/nginx/html;
index  index.html index.htm;
autoindex on;
autoindex_localtime on;
        }
error_page  500 502 503 504  /50x.html;
        location = /50x.html {
            root  html;
        }
}
修改/etc/yum/pluginconf.f,其内容为:
[main]
enabled=1
gpgcheck=0
3 个软件仓库发布目录为
/data/webserver/nginx/html/ambari
/data/webserver/nginx/html/hdp    hdp和hdp-utils都在此目录下
/data/webserver/nginx/html/hdf
执行:
createrepo /data/webserver/nginx/html/ambari/centos6/2.6.0.0-267
createrepo/data/webserver/nginx/html/hdp/HDP/centos6
createrepo /data/webserver/nginx/html/hdp/HDP-UTILS1.1/
hadoop安装详细步骤linux
createrepo /data/webserver/nginx/html/hdf/HDF/centos6/3.0.2.0-76
启动nginx本地yum仓库即发布完成
本地yum repo建立在hadoop4上,以本环境为例,在每台主机上除了epel之外还需要有以下两个repo文件
po:
#VERSION_NUMBER=2.6.0.0-267
[ambari-2.6.0.0]
name=ambari Version - ambari-2.6.0.0
baseurl=192.168.10.170/ambari/centos6/2.6.0.0-267
gpgcheck=0
enabled=1
[HDP-2.6]
name=HDP-2.6
baseurl=192.168.10.170/hdp/HDP/centos6
gpgcheck=0
enabled=1
[HDP-UTILS-1.1]
name=HDP-UTILS-1.1
baseurl=192.168.10.170/hdp/HDP-UTILS1.1
gpgcheck=0
enabled=1
hdf.repo:
#VERSION_NUMBER=3.0.2.0-76
[HDF-3.0.2.0]
name=HDF Version - HDF-3.0.2.0
baseurl=192.168.10.170/hdf/HDF/centos6/3.0.2.0-76
gpgcheck=0
enabled=1
priority=1
1.2.6 jdk配置
安装jdk1.8并配置环境变量
export JAVA_HOME=/data/java/default
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
1.3mysql安装
在hadoop4上安装mysql
cmake  -DCMAKE_INSTALL_PREFIX=/data/mysql -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_MYISAM_STORAGE_ENGINE=1 -DENABLED_LOCAL_INFILE=1 -DEXTRA_CHARSETS=all -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_DEBUG=0 -DWITH_EMBEDDED_SERVER=OFF -DDOWNLOAD_BOOST=1 -DWITH_BOOST=/data/mysql/boost