快速搭建Hadoop环境

1、基础集群环境搭建

1.1安装jdk

a.上传jdk-8u151-linux-x64.tar.gz

b.解压到usr目录下

tar -zxvf jdk-8u151-linux-x64.tar.gz
复制代码

c.配置环境变量
(1)vim /etc/profile
(2)在最后加入：

JAVA_HOME=/usr/java1.8
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
复制代码

(3)保存退出
d.source /etc/profile
e.检测是否安装成功，输入命令：java -version

1.2、修改主机名称，关闭防火墙

1、root账号下使用命令：hostnamectl set-hostname hadoop02
2、Xshell关闭连接窗口，重新连接即可更改过来
3、关闭防火墙（CentOS7）

• (1)firewall-cmd --state #查看防火墙状态
• (2)systemctl stop firewalld.service #停止firewall
• (3)systemctl disable firewalld.service #禁止firewall开机启动

1.3、添加内网域名映射[Centos ip地址静态化

cd /etc/sysconfig/network-scripts 
复制代码

ls找到对应的文件

BOOTPROTO=static
ONBOOT=yes
IPADDR= 192.168.137.100 //IP地址
NTSMASK=255.255.255.0 
GATEWAY=192.168.137.2  //默认网关
复制代码

重启网关 Service network restart

修改配置文件：vim /etc/hosts

1.4、配置免密码登录

1、在root登录状态下，输入命令 ssh-keygen 或者 ssh-keygen -t rsa
2、之后你会发现，在/root/.ssh 目录下生成了公钥文件

3、使用一个简单的方式，使用命令：
注：自己也要给自己复制秘钥
生产秘钥的地方 和验证秘钥的路径不一样]
ssh-copy-id hadoop02
建立hadoop01到hadoop02的免密码登录

2、Hadoop集群环境安装

2.1、Hadoop版本选择

1、Apache官方版本：
1.X
2.X 2.6.5 2.7.5 3.0.1
2、商业发行版本
提供完善的管理系统，修复bug可能会领先于官方版本
Cloudera公司的CDH：5.7.X

2.2、安装Hadoop

2.2.1、Hadoop伪分布式模式安装
Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点即作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。

Hadoop的配置文件位于hadoop-2.7.5/etc/hadoop/文件夹中，伪分布式需要修改两个配置文件core-site.xml和hdfs-site.xml（其中hdfs-site.xml用来配置数据块的副本数量，对于伪分布式来说，不管你配置几个副本数量，它始终都只有一个副本，所以可以不用管）。Hadoop分配置文件是xml格式，每个配置文件以声明property的name和value的方式来实现

1、修改hadoop-env.sh配置文件，添加jdk安装目录

[root@hadoop01 hadoop]# vim hadoop-env.sh
复制代码

2、修改core-site.xml

<configuration>
    <!-- 指定HDFS老大（namenode）的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.7.5/temp</value>
    </property>
</configuration>
复制代码

3、修改slaves

hadoop01
复制代码

4、添加hadoop环境变量：vim /etc/profile

HADOOP_HOME=/home/hadoop-2.7.5
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_HOME PATH
复制代码

5、格式化namenode

[root@hadoop01 hadoop]#hadoop namenode -format
复制代码

6、启动hdfs

[root@hadoop01 hadoop]#start-dfs.sh
复制代码

7、检查是否启动成功
(1)利用jps工具检测各进程是否启动成功
(2)利用web UI 查看http://hadoop01:50070