全网最详细的全分布式Hadoop环境搭建，亲测有效，搭不起来来打我

全网最详细的全分布式Hadoop环境搭建，亲测有效，搭不起来来打我

基础环境搭建

准备三台服务器,此处使用aliyun ECS 2核4G 三台

修改hostname，此处改为hadoop01,hadoop02,hadoop03,修改之后需要重新启动生效

vi /etc/hostname

修改etc文件

vi /etc/hosts
//将下边内容加入文件中
172.20.175.6 hadoop01
172.20.175.7 hadoop02
172.20.175.8 hadoop03
// 分别ping一下其他三台，验证是否生效
ping hadoop01
ping hadoop02
ping hadoop03

下载Hadoop和JDK

wget .10.2/hadoop-2.10. --no-check-certificate
jdk官网自行下载

解压

tar -zxvf 
tar -zxvf hadoop-2.10.

增加jdk和Hadoop环境变量

vi /etc/profile追加如下内容：
HADOOP_HOME=/opt/hadoop-2.10.2
JAVA_HOME=/opt/jdk1.8.0_271
JRE_HOME=/opt/jdk1.8.0_271/jre
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH//使修改立即生效
source /etc/profile   
echo $JAVA_HOME
javac -version

配置免密登录,并将自己的授权文件分发给其他两台

ssh-keygen -t rsa   //连续按三次回车
ssh-copy-id -i ~/.ssh/id_rsa.pub root@服务器IP //复制到其他服务器cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //将自己的授权文件给自己
chmod 0600 ~/.ssh/authorized_keys

Hadoop配置

• 修改/opt/module/hadoop-2.7.2/etc/hadoop文件夹中的配置文件

  <configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name&p.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp</value></property>
  </configuration>
  

  <configuration><property><name&plication</name><value>3</value></property><property><name>dfs.namenode.secondary.http-address</name><value>hadoop03:50090</value></property>
  </configuration>
  

  slaves

  #删掉了localhost，加入以下内容
  hadoop01
  hadoop02
  hadoop03
  

  <!-- reducer获取数据的方式 --><property><name&demanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- 指定YARN的ResourceManager的地址 --><property><name&sourcemanager.hostname</name><value>hadoop01</value></property>
  

  <configuration>
  <!-- 指定mr运行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
  </configuration>
  

• 可能找不到 JAVA_HOME

​ 修改hadoop-env.sh (我的hadoop安装在/opt/hadoop-2.10.2/etc/hadoop/hadoop-env.sh 目录下)

#export JAVA_HOME=${JAVA_HOME} //原来export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121 //修改后

分发到其他两台

scp -r /opt/module/hadoop-2.7.2/etc/hadoop hadoop02:/opt/module/hadoop-2.7.2/etc/
scp -r /opt/module/hadoop-2.7.2/etc/hadoop hadoop03:/opt/module/hadoop-2.7.2/etc/

集群启动

首次启动集群，需要格式化namenode

hdfs namenode -format

在Hadoop01中启动HDFS

sbin/start-dfs.sh

在在Hadoop01中启动yarn

sbin/start-yarn.sh

jps查看进程

[root@hadoop01 hadoop-2.10.2]# jps
8305 NameNode //hdfs
8819 NodeManager
8713 ResourceManager
9163 Jps
8447 DataNode
[root@hadoop02 scala-2.13.8]# jps
3395 DataNode
3512 NodeManager
3660 Jps
[root@hadoop03 scala-2.13.8]# jps
4339 Jps
4186 NodeManager
3996 DataNode
4108 SecondaryNameNode

在阿里云ECS控制台中将Hadoop01服务器的安全组规则中开放50070端口h和8088

• 在HDFS启动的时候，访问hadoop01's公网IP:50070
• 在yarn启动的时候，访问`hadoop01’s公网IP:8088

其他命令：

sbin/start-dfs.sh
sbin/stop-dfs.shsbin/start-yarn.sh
sbin/stop-yarn.shstart-all.sh
stop-all.sh

踩坑记录：

1. 找不到JAVA_HOME

修改hadoop-env.sh (我的hadoop安装在/usr/local/ 目录下)

#export JAVA_HOME=${JAVA_HOME} //原来export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121 //修改后

2. 多次format导致dataNode启动失败

rm -rf /tmp/hadoop-root/*
hdfs namenode -format

参考：

/