Hadoop伪分布式搭建

news/2024/5/19 9:07:32/文章来源:https://blog.csdn.net/m0_54849806/article/details/126665555

搭建环境：

centos6.5

vm16

jdk1.8

hadoop 2.6.5

1.先设置静态ip

vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
#HWADDR=00:0C:29:42:15:C2
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.90.11
NETMASK=255.255.255.0
GATEWAY=192.168.90.2
DNS1=223.5.5.5
DNS2=114.114.114.114

重启服务:service network restart

关闭防火墙：service iptables stop

开机自动关闭防火墙：chkconfig iptables off

为了方便操作，使用xshell连接centos，因为centos里面直接就给我们安装了ssh，所以我们便不需要安装了

2.设置本机中ip与主机名的映射

vi /etc/hosts

192.168.90.111 node01
192.168.90.112 node02
192.168.90.113 node03
192.168.90.114 node04

3.为了方便后面搭建集群，我们现在就把其他机器给弄出来

直接将第一台node01给另外克隆出3台来

（1）.克隆完成

（2）.修改主机名

vi /etc/sysconfig/network 把HostName改成自己的主机名

（3）.设置静态ip

参照1

（4）重启服务后会报如图所示错误

解决办法：rm -rf /etc/udev/rules.d/70-persistent-net.rules

reboot，重启后再service network restart即可

4.安装jdk1.8

rpm -i jdk-8u181-linux-x64.rpm
*有一些软件只认：/usr/java/default
vi /etc/profile
export JAVA_HOME=/usr/java/default
export PATH= $P A T H :$ JAVA_HOME/bin
source /etc/profile

5.设置免密登录自己

ssh localhost 1,验证自己还没免密 2,被动生成了 /root/.ssh
ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证：ssh localhost发现不用密码登录了

6.搭建haddop

mkdir /opt/poke

mkdir /opt/poke/bigdata
tar xf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 /opt/poke/bigdata/

vi /etc/profile
export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/opt/poke/bigdata/hadoop-2.6.5
export PATH= $P A T H :$ JAVA_HOME/bin: $HADOOP\_HOME/bin:$ HADOOP_HOME/sbin
source /etc/profile

设置hadoop配置

1.因为ssh到了另一台机器的时候，我们不能得到系统的环境变量，比如$JAVA_HOME

所以我们需要再hadoop里面自己配置

vi hadoop-env.sh
export JAVA_HOME=/usr/java/default

2.配置NameNode在那台机器运行

vi core-site.xml

fs.defaultFS
hdfs://node01:9000

3.配置hdfs 副本数为1.。。。
vi hdfs-site.xml

dfs.replication
1

#namenode的dir

dfs.namenode.name.dir
/var/bigdata/hadoop/local/dfs/name

#datanode的dir

dfs.datanode.data.dir
/var/bigdata/hadoop/local/dfs/data

#secondary的ip地址

dfs.namenode.secondary.http-address
node01:50090

#secondary的dir

dfs.namenode.checkpoint.dir
/var/bigdata/hadoop/local/dfs/secondary

4.配置DN这个角色再那里启动
vi slaves
node01