一、hadoop的组成
- hadoop1.x：Commons、HDFS（数据存储）、MapReduce（资源调度+计算）
- hadoop2.x:Commons、HDFS（数据存储）、MapReduce（计算）、Yarn(资源调度)
1.1 HDFS
- 分布式存储文件系统。分为NameNode和DataNode
- NameNode： 管理元数据，负责监控DataNode状态，存储在内存。
- DataNode: 负责存储具体的数据。dataNode和nameNode有一个心跳机制，数据存储在磁盘。
1.2 Yarn（资源调度）
- Resource Manager：所有资源（内存、CPU等）的管理者
- Node Manager: 单一资源的管理者。
- ApplicationMaster: 单个任务的执行者
- Container: 容器，相当于一台独立的服务器，有对应运行所需要的的资源
1.2 MapReduce（计算）
将任务分发给每一台服务器，然后结果汇总到一台服务器
二、VM配置多台服务器
1.1 修改虚拟机配置ip网段
- VM点击编辑，设置虚拟网络编辑器，点击VMnet8修改子网ip为192.168.10.0，修改网关为192.168.10.2。
- windows打开网络配置，点击vm8修改ipv4
- 修改/etc/sysconfig/network-scripts/ifcfg-ens33
修改BOOTPROTO为static #静态ip
#添加一下内容
IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=192.168.10.2- 修改hostname为hadoop100
vi /etc/hostname- 修改hosts映射
vi /etc/hosts
#添加以下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
1.2 虚拟机的基础配置
- 如果虚拟机为最小系统安装，需要安装如下工具
#软件库(官方的rpm会缺少一些包)
yum install -y epel-release
#vim
yum install -y vim
#net-tool
yum install -y net-tools- 关闭停止防火墙
systemctl stop firewalld
systemctl disable firewalld.service
1.3 克隆虚拟机(hadoop102 103 104)
- 关闭虚拟机，进行克隆，创建完整克隆
- 轮流登录修改ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改IPADDR为192.168.10.102 (103 104)- 修改主机名称
vi /etc/hostname hadoop102 (103 104)
三、配置hadoop基本的环境
1.1 在hadoop102上安装jdk和hadoop
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module
1.2 配置jdk的环境变量
cd /etc/profile.d
vim my_env.sh
####
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
####
source /etc/profile
1.3 安装hadoop
tar -xvzf hadoop-3.1.3.tar.gz -C /opt/module/
1.4 配置hadoop的环境变量
vim /etc/profile.d/my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
