CDH5.10.1集群安装文档_沉寂在数据中的博客-CSDN博客
CDH5.10.1集群安装文档
沉寂在数据中
于 2017-09-04 10:50:13 发布
675
收藏
文章标签：
CDH
集群
服务器
安装
Cloudera
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30498935/article/details/77834510
版权
CDH5.10.1集群安装文档
前置条件
由于部署集群需要在服务器上面安装较多东西，包含很多工具和mysql、jdk等组件，那么需要在服务器确认的时候需要跟客户确认在服务器上面是否已经安装有此类组件并且已经在使用。如果已经安装并使用，那么需要等确认清楚才可以进行后续的步骤。
CDH集群主机安装软硬件需求，如下：
操作系统 Centos7.3 集群机器数量 10台 集群网络 集群主机应在在同一网关内，能互相ping的通 端口 22
由于CDH集群安装不是直接在集群主机上安装，而是通过远程安装。所以安装时需要一台能够连接到集群主机装有windows操作系统的主机。安装主机情况：
操作系统 Windows 10 网络要求 能ping的通集群主机 远程连接工具 Xshell ftp工具 xftp
部署清单
所有的部署组件都具有操作系统版本适用性，仅适用于某一些特定版本的特定操作系统上，所以需要根据具体实施现场的情况来获取相应的软件安装版本，官网上有详细的版本说明。
软件名称 包名称 版本号 依赖关系 CM Server cloudera-manager-el7-cm5.10.1_x86_64.tar.gz 5.10.1 CM Agent cloudera-manager-el7-cm5.10.1_x86_64.tar.gz 5.10.1 CM parcel CDH-5.10.1-1.cdh5.10.1.p0.10-el6.parcel CDH-5.10.1-1.cdh5.10.1.p0.10-el6.parcel.sha manifest.json 5.10.1 jdk jdk-7u67-linux-x64.rpm 1.7.67 Mysql驱动 mysql-connector-java-5.7.17-bin.jar 5.7.17
准备工作
准备部署文档，确认集群主机的IP、主机名称，以及网络是否符合前置条件中列出的要求。
检查网络：使用ping命令查看网络是否在同一个网络
Ping命令格式：ping ip地址
确认安装主机和集群主机在同一个网关内。然后再在安装集群的主机上安装xshell软件，以及xftp(xftp主要是用来将我们的安装包上传到cloudera manager上)。
集群环境
本次集群使用3台主机，操作系统都采用centos7.3版本，虚拟主机信息列表如下：
序号 主机名 IP 主要功能 1 h01 - CM-server/CM-agent 2 h02 - CM-agent 3 h03 - CM-agent 4 h04 - CM-agent 5 h05 - CM-agent 6 h06 - CM-agent 7 h07 - CM-agent 8 h08 - CM-agent 9 h09 - CM-agent 10 h10 - CM-agent
创建账户（所有主机）
首先获得linux操作系统的root的密码，使用xshell4终端软件连接到linux操作系统上。
然后，给app_use用户添加sudo权限（所有主机）：
cd /etc
首先需要增加写权限：chmodu+w sudoers
[root@h01 ~]#vim /etc/sudoers （只读文件需赋权限）
按箭头向下找到"rootALL=(ALL) ALL"这一行，光标放在下一行的空行开头，按“I”执行插入：" app_user ALL=(ALL) NOPASSWD: ALL " （无密码sudo）
  
按ESC，再按“：”，输入“wq”，保存文档退出。
将权限去掉：chmod u-wsudoers
操作使用账户
接下来操作均使用app_user账号进行操作。
[root@h01 ~]# su -app_user
结果验证（所有主机）
我们用sudo来检查一下防火墙状态
[app_user@h01 ~]# sudo service iptables status
如果sudo没有添加成功，会报如下错误
app_user is not in the sudoers file. This incident will be reported.
没有上面这个信息则说明sudo用户添加成功。
配置/etc/hosts（所有主机）
/etc/hosts文件存储着集群中可访问服务器的主机名称和IP的对应映射表。整个集群的主机的/etc/hosts的配置是一样的。
修改/etc/hosts
这里每台主机做同样操作
[app_user@h01 ~]# sudo vim /etc/hosts
此集群的/etc/hosts最终文本内容如下：
  
修改/etc/sysconfig/network中的hostname
以h01为例(其他主机同样操作)
关闭SELINUX
执行命令：sudo vi/etc/selinux/config
找到“SELINUX”行，修改“=”后内容为“disabled”，保存并退出。
注意：关闭Selinux需要重新启动生效。
关闭防火墙
使用以下命令关闭防火墙：
sudo serviceiptables stop
sudo chkconfigiptables off
服务器重启
为了使服务器配置生效，在此步骤需要重启服务器：
sudo init 6
免密钥（所有主机）
生成公钥id_dsa.pub（所有节点都做）
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
将自己的公钥追加到私钥中（所有节点都做）
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
cd ~/.ssh/到这个文件夹下，它里边是产生的公钥和私钥
cd ~/.ssh
将自己生成的公钥发送给需要做免密钥的节点,比如发送到tmp下（h01发送到h02~h10）
scp id_dsa.pub h02:/tmp
h02~h-cs10中，将h01发送过来的公钥追加到私钥中
cat /tmp/id_dsa.pub >>~/.ssh/authorized_keys
需修改权限（三个节点都做）
chmod 600 /home/app_user/.ssh/authorized_keys
chmod 700 /home/app_user/.ssh
配置jdk环境（所有主机）
卸载自带JDK:
查询是否已经安装了JDK，若安装则卸载
sudo rpm -qa | grep java
显示如下，说明自带安装了JDK
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
如果存在，卸载它们
安装JDK并配置路径
安装JDK
[hdfs@Hadoop-NN1 ~]#
sudo rpm -ivh jdk*
成功安装结果如下：
2.   配置JAVA_HOME
执行以下命令：
sudo vi /etc/profile
在文件最后追加：
export JAVA_HOME=/usr/java/jdkxxx
export PATH=$JAVA_HOME/bin:$PATH
保存并退出：按ESC，再按“：”，输入“wq”，保存文档退出。
使之免启动生效：
source /etc/profile
3.     检查是否安装成功
[app_user@h01 ~]# java -version
出现以下类似java信息说明安装成功
MySQL元数据节点安装
安装Mysql server
1．安装（若无）
sudo yum install mysql-server
2．启动mysql：
service mysqld start
3．设置开机启动并查看：
chkconfig mysqld on
chkconfig –list mysqld
4．修改权限（需使用root用户操作）
进入：
[app_user@h01 ~]# mysql
mysql> show databases;
mysql> use mysql;
mysql> show tables;
mysql> select host,user from user;
修改权限：
mysql> GRANT ALL PRIVILEGES ON *.* TO 'app_user'@'%' IDENTIFIED BY'123' WITH GRANT OPTION;
刷新：
mysql> flush privileges
查看：
mysql> select host,user from user;
把多余的其他删掉：
mysql> delete from user where host != ‘%’;
刷新：
mysql> flush privileges;
退出再登陆测试是否生效：
[app_user@h01 ~]# mysql –u app_user –p (密码123)
进入mysql说明成功，输入“exit”退出。
下载第三方依赖包（所有节点）
所需的依赖：
chkconfig、python、bind-utils、psmisc、libxslt、zlib、sqlite、cyrus-sasl-plain、 • cyrus-sasl-gssapi、fuse、fuse-libs、redhat-lsb
在所有主机上执行以下脚本：
sudo yum install chkconfig python bind-utilspsmisclibxsltzlibsqlitecyrus-sasl-plaincyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y
安装Cloudera Manager
给集群安装之前再次确认时间是否同步（用date查看），以及防火墙;NTP和防火墙是集群安装最常见的两个问题；如果集群安装或启动报错请优先检查这两个。
安装cloudera Manager 所需要的介质：
cloudera-manager-el7-cm5.10.1_x86_64.tar.gz
下载地址：
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cm_vd.html#cmvd_topic_1
1.所有节点创建cloudera-manager文件存放目录
sudo mkdir /opt/cloudera-manager
（此目录为默认目录，不能修改路径和名称）
2.将cloudera-manager压缩文件解压到/opt/cloudera-manager
sudo tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
3. 创建用户 cloudera-scm（所有节点）
cloudera-scm 用户说明，摘自官网： Cloudera Manager Server and managed services are configured to usethe user account cloudera-scm by default, creating a user with this name is thesimplest approach. This created user, is used automatically after installationis complete.
执行:
sudo useradd --system --no-create-home --shell=/bin/false --comment"Cloudera SCM User" cloudera-scm
4.配置CM Agent相关配置文件
修改所有agent节点，目的让agent知道自己归谁管理
sudo vi /opt/cloudera-manager/cm-5.10.1/etc/cloudera-scm-agent/config.ini
指定server_host为server节点。
5.配置cloudera-mananger数据库（server端操作）
①拷贝mysql jar文件到目录 /usr/share/java/ （固定目录，系统会默认来这找文件）
②注意jar包名称固定为：mysql-connector-java.jar。（系统默认找此文件名）
③配置 CM Server 的数据库（命令行或者navicat操作即可）
grant all on *.* to 'h'@'%' identified by 'h' with grant option;
④进入文件执行命令：
cd /opt/cloudera-manager/cm-5.10.1/share/cmf/schema/
sudo ./scm_prepare_database.sh mysql h -h h01 –u h –p h --scm-host h01 scmscm scm
格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器
出现这句话代表以上执行成功：
6.创建Parcel目录
一台server节点：
mkdir -p /opt/cloudera/parcel-repo
并修改权限：
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
三台agent节点：
mkdir -p /opt/cloudera/parcels
并修改权限：
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
7. 制作CDH本地源
将两个parcel文件和一个json文件拷贝到server节点的/opt/cloudera/parcel-repo下
（系统默认寻找此目录，并分发给其他所有的agent节点）
  
8.分别启动CM Server、和CM Agent
cd /opt/cloudera-manager/cm-5.10.1/etc/init.d/
./cloudera-scm-server start
./cloudera-scm-agent start
(首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装)
结果验证
在安装集群的客户机上，打开浏览器输入http://ip:7180/
备注：浏览器支持版本IE 9以上、Firefox 11以上、Safari 5以上、Google Chrome（建议）
浏览结果如下：(默认登录用户名和密码为admin/admin)
沉寂在数据中
关注
关注
点赞
收藏
打赏
评论
CDH5.10.1集群安装文档
CDH5.10.1集群安装文档前置条件由于部署集群需要在服务器上面安装较多东西，包含很多工具和mysql、jdk等组件，那么需要在服务器确认的时候需要跟客户确认在服务器上面是否已经安装有此类组件并且已经在使用。如果已经安装并使用，那么需要等确认清楚才可以进行后续的步骤。CDH集群主机安装软硬件需求，如下：操作系统Centos7.3
复制链接
扫一扫
flume-ng-1.6.0-cdh5.10.1.tar.gz的下载
09-15
flume-ng-1.6.0-cdh5.10.1.tar.gz的下载。是生产中用得比较多的一个稳定版本
CDH5.4部署文档
03-28
CDH5.4部署文档
参与评论
您还未登录，请先
登录
后发表或查看评论
cdh-5.10.0搭建安装
weixin_30655569的博客
05-23
172
1.修改主机名为master, slave1, slave2
vim /etc/sysconfig/network
HOSTNAME = master
HOSTNAME = slave1
HOSTNAME = slave2
2.修改hosts文件（三个节点都要设置）
vim /etc/hosts
192.168.1.7 master
192.168.1.8 sla...
CDH5.10.2 离线配置hadoop-lzo压缩
翱翔的天空的博客
12-10
180
ClouderaManager之CDH-LZO配置
CDH-LZO配置
下载和CDH版本对应的hadoop-lzo版本
如下：
下载地址：http://archive.cloudera.com/gplextras5/parcels/
需要下载如下三个文件：
GPLEXTRAS-5.4.0-1....
CDH5.10.0离线安装部署文档
10-05
CDH 5.10.0 离线安装部署文档
使用了青云的3台云主机
安装的服务有HDFS、YARN 与 ZooKeeper
CENTO7.2安装CDH5.10和Kudu1.2(二)
weixin_42438176的博客
02-05
295
5 Kudu 安装
CDH从5.10开始，打包继承Kudu1.2，并且Cloundera正式提供支持。这个版本开始Kudu的安装较之前要简单很多，省去Impala_Kudu,安装完Kudu，Impala即可直接操作Kudu。
以下安装步骤基于用户使用Clodera Manager来安装和部署Kudu1.2
5.1安装 文件
1.下载csd文件
[root@ip-172-31-2-159 ~]# ...
zookeeper cdh5.11 tar包
12-11
zookeeper cdh5.11 tar包
cdh5.10安装——入门教程
archer的技术故事
03-27
5220
cdh5.10安装——入门教程
首先介绍一下cdh是什么。cdh是用来集中管理hadoop集群的工具。它在hadoop上进行了封装，提供了webUI界面对集群的状态进行监控和操作。
下面介绍一下cdh安装时都需要安装什么。
1、cloudera-manager提供管理集群的功能。
2、安装好cloudera-manager之后，可以通过图形界面安装parcel，然后再安装hadoop...
CentOS6离线安装CDH5.10.0
暗焰之珩的博客
11-20
196
目录
CDH5.10.0离线安装手册
1.yum源配置（所有节点）
2.网络配置（所有节点）
3.免密传输与简单传输脚本的使用(主节点)
4.安装Oracle的Java（所有节点）
5.安装配置MySQL（主节点）
6.关闭防火墙和SELinux(所有节点)
7.配置NTP服务(所有节点)
8.安装Cloudera Manager Server 和Agent
9.CDH5.10...
CDH Upgrade 5.10.0-->5.11.0
UniqueChunBlog
11-16
482
官网Upgrading to CDH 5.6 Using Parcels一、将CM 5.11.0和 CDH 5.11.0的parcels下载好，上传至CM主机。二、进入/val/www/html路径创建5.10.0文件夹，将5.10.0版本的CM和CDH parcel包都移入。三、/val/www/html路径下
1、mkdir cm5/redhat/5/x86_642、tar -zxvf cm5
kylin2.1.0+cdh5.10.1+安装部署+官方测试例子详细教程
eric_lee的专栏
01-16
338
CDH环境下kylin的安装教程
1.软件版本介绍:
cdh5.10.1
Kylin: 2.1.0
2.环境检查
环境中需要启动的角色:
Hive Metastore Server
yarn的JobHistory Server
3.正式安装
3.1 kylin2.1.0下载软件
http://mir
CDH相关包的下载地址：
weixin_30846599的博客
05-21
1975
CDH相关包的下载地址：http://archive.cloudera.com/cm5/cm/5/http://archive.cloudera.com/cdh5/parcels/latest/
用户：userdel -r cloudera-scm
ps -ef | grep cloudera-scm | awk '{ print $2 }' | sudo xargs kill -9
ps ...
CDH5.5.1版HBase安装使用LZO压缩
weixin_30273501的博客
01-28
70
1.安装 RHEL/CentOS/Oracle 5Navigate to
this
link and save the file in the
/etc/yum.repos.d/ directory.RHEL/CentOS/Oracle 6Navigate...
CDH5.10.0 离线安装(共3节点)
weixin_30847939的博客
02-20
141
1.安装方式
CDH的离线部署安装，即Parcel包（推荐）
2.角色规划
三个节点对应的角色：
3.基本环境配置（在每个节点上都要配置）
(1)关闭防火墙
#/etc/init.d/iptables stop
# chkconfig --level 345 iptables off
(2)关闭seliux
# vim /etc/sysconfig/seli...
cdh 安装_0719-5.10.0-如何在RedHat7.2使用rpm安装CDH(无CM)
weixin_39534002的博客
11-28
59
文档编写目的在进行CDH集群安装部署的时候，官方提供了三种方式，parcels、packages以及tarball，官方推荐使用parcels的方式进行安装，这也是最常用的安装方式，通常我们使用CM图形化界面的操作方式来安装CDH集群，本文档将介绍的是官方提供的另一种安装方式，使用packages安装，即rpm包的方式进行CDH集群的安装，并且本次安装是使用没有CM的方式进行安装。环境介绍：·安装...
CDH5.10.x安装
zisheng_wang_DATA的博客
03-26
3468
1.CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hiv
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：编程工作室
设计师：CSDN官方博客
返回首页
沉寂在数据中
CSDN认证博客专家
CSDN认证企业博客
码龄7年
暂无认证
11
原创
25万+
周排名
91万+
总排名
4万+
访问
等级
514
积分
22
粉丝
获赞
评论
25
收藏
私信
关注
热门文章
动态修改kafka 日志保存时间
17374
最新版TensorFlow 1.3 windows环境安装
6384
hadoop中NameNode节点CPU使用量高 解决方案（亲测）
4078
linux下R安装RMySQL不成功 configuration failed for package ‘RMySQL’
2733
安装Python 3.5
1897
分类专栏
pip 安装
安装
4篇
python
2篇
R报错
1篇
hadoop
1篇
kafka
1篇
spark
最新评论
hadoop中NameNode节点CPU使用量高 解决方案（亲测）
tuantuan0912:
厉害啦！
hadoop中NameNode节点CPU使用量高 解决方案（亲测）
天河~:
学习了，以后遇到这种问题可以试试
最新版TensorFlow 1.3 windows环境安装
qq_32248211:
很棒的文章，按作者的指导，tensorflow安装成功了
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
Linux - 将Crontab中的命令输出按照当前日期进行存储
linux yum安装 依赖 报错 [Errno 256] No more mirrors to try
动态修改kafka 日志保存时间
2020年2篇
2018年2篇
2017年7篇
目录
目录
分类专栏
pip 安装
安装
4篇
python
2篇
R报错
1篇
hadoop
1篇
kafka
1篇
spark
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
沉寂在数据中
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值