写在最前面:

本次安装时间为2020年3月,参考了几篇2018年和2019年的博客,文章末会放上参考链接。

安装主要按照以下几个思路走:

1.安装Centos虚拟机,并且设置好静态ip地址以及网关和DNS

2.配置Hostname

3.关闭防火墙和SElinux

4.SSH免密登录

5.安装JDK

6.安装HTTP服务器

7.安装MySQL

8.NTP时间同步

9.制作本地源

10.安装Ambari

11.配指Ambari

12.搞腚


1.安装Centos7以及配置虚拟机网络

安装Centos7这里就不做教学了,可以用VMware,VirtualBox,Hyper-V等虚拟机软件,有条件的也可以使用云服务器,但是网络环境还是要配的。

集群信息:

虚拟机ip虚拟机hostname虚拟机操作系统虚拟机类型
192.168.0.177ambari-1Centos7Master
192.168.0.178ambari-2Centos7Slave
192.168.0.179ambari-3Centos7Slave

配置网络的时候将网关设置为192.168.0.1,具体按照每个人本机路由地址来定,DNS可以设置为8.8.8.8等公共DNS,也可以设置为路由地址,子网掩码为255.255.255.0,配置网络后不要忘记ping一下baidu,ping通则说明配置成功,可以进行下一步操作了。

2.配置Hostname

以第一台Matser节点的虚拟机为例,其它递推就行。

vi /etc/hostname
ambari-1
vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.177 ambari-1
192.168.0.178 ambari-2
192.168.0.179 ambari-3

上面这两步的操作主要目的是建立一个映射关系,先给每台虚拟机取个名,然后ip地址和主机名建立映射关系,方便操作。

3.关闭防火墙和Selinux

3.1关闭防火墙

这一步的主要目的是关闭内网防火墙,方便各虚拟机之间进行网络互通。

systemctl disable firewalld.service
systemctl stop firewalld.service
3.2关闭Selinux
vi /etc/sysconfig/selinux

# targeted - Targeted processes are protected,
 
SELINUX=enforcing# SELINUXTYPE= can take one of three two values:
 
# mls - Multi Level Security protection

将SELINUX=enforcing改为SELINUX=disabled,然后重启虚拟机后生效。

4.SSH免密登录

4.1在Master节点上创建SSH密钥
ssh-keygen -t rsa (回车后再按连续三个回车)
cd .ssh/
cat id_rsa.pub >> authorized_keys
4.2在Slave节点上创建存放Master节点密钥的目录,并且将密钥复制过去
mkdir /root/.ssh

scp authorized_keys ambari-2:/root/.ssh/
scp authorized_keys ambari-3:/root/.ssh/
4.3验证SSH免密登录是否成功
ssh ambari-2 date

在执行过程中可能第一次需要输入密码,输入一次后,后续不需要再输入密码。

5.安装JDK

安装JDK有很多种方法,这里简单介绍一种。

在Oracle官网上下好JDK1.8的tar包后,传输到虚拟机的/opt/java里,然后执行下列命令。

tar zxvf jdk-8u201-linux-x64.tar.gz

切记,8u201是版本号,记得按照自己下好的版本进行更改,后面配置环境变量的时候也要记得替换。

vi etc/profile

#在文件最后加上下面内容:

export JAVA_HOME=/opt/java/jdk1.8.0_201
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

#最后执行下面的命令让环境变量不用重启立即生效:

source /etc/profile

6.安装HTTP服务器

这一步的主要目的是方便后续制作本地Ambari源。

yum install httpd
systemctl start httpd.service

如果网站根目录不是 /var/www/html ,则需要修改:

vi /etc/httpd/conf/httpd.conf

DocumentRoot"/var/www/html"
 
<Directory"/var/www/html">

7.安装Mysql

7.1卸载自带或者已有MySQL

由于Centos7自带定制版MySQL,所以我们需要先卸载自带的。

/bin/rpm -e $(/bin/rpm -qa | grep mysql|xargs) --nodeps
/bin/rpm -e $(/bin/rpm -qa | grep mariadb|xargs) --nodeps
7.2搭建Mysql5.7的yum源
wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm
yum -y install mysql57-community-release-el7-11.noarch.rpm
7.3安装MySQL
yum -y install mysql57-community-release-el7-11.noarch.rpm
7.4设置MySQL
# 启动mysql服务
service mysqld start
# 查看root密码,因为mysql5.7第一次启动时无法做任何操作,所以需要知道随机密码,登录后进行操作。
grep "password" /var/log/mysqld.log
# 登陆mysql
mysql -u root -p
Enter password: 
# 为了可以设置简单密码
set global validate_password_policy=0;
set global validate_password_length=4;
# 立即修改密码,执行其他操作报错:
SET PASSWORD FOR 'root'@'localhost' = PASSWORD('newpass');
# 上面的newpass是自己设置的新密码
7.5增加ambari用户并且设置权限
create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY 'password'; #这里的password是自己设置的密码,后面要用的。
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
7.6使用ambari用户登录并且创建同名数据库
mysql -uambari -pambari
CREATE DATABASE ambari;
exit;

8.NTP时间同步

使用NTP的目的是对网络内所有具有时钟的设备进行时钟同步,使网络内所有设备的时钟保持一致,从而使设备能够提供基于统一时间的多种应用。像Zookeeper、RegionServer服务都是需要实时和各节点进行通信的。假如各节点差超过30s,那么RegionServer会由于Zookeeper会话超时而停止服务。

8.1以ambari-1为参照时间点,设为ntp校准服务器
yum -y install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
vi /etc/ntp.conf


restrict 127.0.0.1
 
restrict -6 ::1
 
# Hosts on local network are less restricted.
 
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
 
restrict 192.168.10.0 mask 255.255.240.0 nomodify notrap //允许的网络字段连接ip限制
 
server 127.127.1.0 perfer //以本机时间为准fudge 127.127.1.0 stratum 10#server 0.centos.pool.ntp.org iburst //全部注释掉
 
#server 3.centos.pool.ntp.org iburst
 
#server 1.centos.pool.ntp.org iburst
 
#server 2.centos.pool.ntp.org iburst
8.2各Slave服务器的配置
vi /etc/ntp.conf

server ambari-1  //指定ntp 服务器,为ambari-1
 
#server 0.centos.pool.ntp.org iburst //全部注释掉
 
#server 1.centos.pool.ntp.org iburst
 
#server 3.centos.pool.ntp.org iburst
 
#server 2.centos.pool.ntp.org iburst
8.3启动全部节点NTP服务器
systemctl start ntpd.service
8.4检查是否同步成功
ntpstat

请求服务器前,请先使用ntpdate手动同步一下时间:ntpdate -umaster (主节点ntp服务器)这里可能出现同步失败的情况,请不要着急,一般是本地的ntp服务器还没有正常启动,一般需要等待5-10分钟才可以正常同步。启动服务:

systemctl start ntpd.service

9.制作本地源

下面的操作都是在Master节点Ambari-1上进行的

9.1下载ambari以及相关tar包
cd /usr/local/src/Ambari/
$ wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari-2.6.2.2-centos7.tar.gz
$ wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz
$ wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

如果不安装上面版本,可以查看版本适配自行选择合适的版本安装:

https://supportmatrix.hortonworks.com/

因为文件都比较大,可以提前下载好,然后放在ambari-1的/var/www/html 目录下

最后解压到该目录下

tar zxvf ambari-2.6.2.2-centos7.tar.gz
tar zxvf HDP-2.6.5.0-centos7-rpm.tar.gz
tar zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz
9.2安装制作本地源的工具
yum install yum-utils createrepo -y
9.3新建ambari、HDP、HDP-UTILS的repo

新建ambari的repo

cd /etc/yum.repos.d/
vi ambari.repo

[ambari-2.6.2.2]
name=ambari-2.6.2.2-1
baseurl=http://192.168.0.177/ambari/ambari/centos7/2.6.2.2-1/
gpgcheck=1
gpgkey=http://192.168.0.177/ambari/ambari/centos7/2.6.2.2-1/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

新建HDP、HDP-UTILS的repo

vi hdp.repo

[HDP-2.6.5.0]
name=HDP-2.6.5.0
baseurl=http://192.168.0.177/ambari/HDP/centos7/2.6.5.0-292/
gpgcheck=1
gpgkey=http://192.168.0.177/ambari/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
 
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS-1.1.0.22
baseurl=http://192.168.0.177/ambari/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=1
gpgkey=http://192.168.0.177/ambari/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

其中baseurl和gpgkey的地址按照9.1中解压的地址填写,不然后续会因为找不到报错。

9.4制作源
 yum clean all  
 yum makecache            
 yum repolist

10.安装Ambari

yum install ambari-server -y

11.配置Ambari

11.1启动配置程序
ambari-server setup
11.2选择是否进行自定义设置,选择y
Customize user account for ambari-server daemon [y/n] (n)? y
11.3输入ambari-server账号
Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...
11.4 设置JDK,选择3
Checking JDK...
Do you want to change Oracle JDK [y/n] (n)? y
[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[] Custom JDK
============================================================================
Enter choice (1): 3
11.5 输入Java_HOME,按照自己安装的目录以及版本号填写
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/java/jdk1.8.0_201
Validating JDK on Ambari Server...done.
Completing setup..
11.6数据库配置,选择y
Configuring database...
Enter advanced database configuration [y/n] (n)? y
11.7选择数据库类型,选择3
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
============================================================================
Enter choice (3): 3
11.8数据库配置具体信息,可以选择默认
Hostname (localhost):ambari-1     #Master主机名
Port (3306):3306                        
Database name (ambari):ambari
Username (ambari):ambari
Enter Database Password (“password”):             #(自己在7.5里设置的密码)
11.9初始化数据库
mysql -u ambari -p
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
12.启动Ambari服务
ambari-server start

最后在浏览器输入:http://192.168.0.177:8080 (Master主机的ip地址+8080端口)

成功出现登录界面后,使用默认管理员账户登录:

Username:admin
Password:admin

登录成功后,则说明Ambari安装成功辣!

下面要做的就是进行集群的配置,后面会看时间写一写!

最后的最后放上巨人的肩膀:

Centos7中用Ambari快速搭建大数据平台攻略

Ambari2.7安装配置

大家如果过程中有不明白的或者出错的可以去这些地方找找看。

标签: none

添加新评论