Hadoop大数据应用:Yarn 节点实现扩容与缩容

news/2024/5/30 17:07:10/文章来源:https://blog.csdn.net/cronaldo91/article/details/136717329

目录

  一、实验

1.环境

2.Yarn 节点扩容

3.Yarn 节点缩容

二、问题

1.yarn启动服务报错


  一、实验

1.环境

(1)主机

表1  主机

主机架构软件版本IP备注
hadoop

NameNode (已部署)

SecondaryNameNode (已部署)

ResourceManager(已部署)

hadoop

2.7.7192.168.204.50

node01

DataNode(已部署)

NodeManager(已部署)

hadoop

2.7.7192.168.204.51
node02

DataNode(已部署)

NodeManager(已部署)

hadoop

2.7.7192.168.204.52
node03

DataNode(已部署)

NodeManager(已部署)

hadoop

2.7.7192.168.204.53
node05NodeManager

hadoop

2.7.7192.168.204.55

(2)查看jps

hadoop节点

[root@hadoop hadoop]# jps

node01节点

node02节点

node03节点

(3) 查看节点

[root@hadoop hadoop]# ./bin/yarn node -list
24/03/14 13:40:21 INFO client.RMProxy: Connecting to ResourceManager at hadoop/192.168.204.50:8032
Total Nodes:3Node-Id             Node-State Node-Http-Address       Number-of-Running-Containersnode01:40551                RUNNING       node01:8042                                  0node02:46073                RUNNING       node02:8042                                  0node03:40601                RUNNING       node03:8042                                  0

2.Yarn 节点扩容

(1)查看IP

地址为192.168.204.55

[root@localhost ~]# ip addr

 (2)安全机制

查看

[root@localhost ~]# sestatus

关闭

[root@localhost ~]# vim /etc/selinux/config
……
SELINUX=disabled
……

再次查看(需要reboot重启)

[root@localhost ~]# sestatus

(3)防火墙

关闭

[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl mask firewalld

(4)安装java

[root@localhost ~]# yum install -y java-1.8.0-openjdk-devel.x86_64

查看

[root@localhost ~]# jps

 (5)修改主机名

[root@localhost ~]# hostnamectl set-hostname node05
[root@localhost ~]# bash

(6)添加免密登录

[root@hadoop ~]# cd /root/.ssh/
[root@hadoop .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@hadoop .ssh]# ssh-copy-id -i id_rsa.pub 192.168.204.55

验证:

[root@hadoop .ssh]# ssh 192.168.204.55

 (7)域名主机名(hadoop节点)

[root@hadoop ~]# vim /etc/hosts
……
192.168.205.50 hadoop
192.168.205.51 node01
192.168.205.52 node02
192.168.205.53 node03
192.168.204.54 node04
192.168.204.55 node05

(8)同步域名配置文件


[root@hadoop ~]# rsync -av /etc/hosts node01:/etc/
sending incremental file list
hostssent 382 bytes  received 41 bytes  282.00 bytes/sec
total size is 291  speedup is 0.69
[root@hadoop ~]# rsync -av /etc/hosts node02:/etc/
sending incremental file list
hostssent 382 bytes  received 41 bytes  282.00 bytes/sec
total size is 291  speedup is 0.69
[root@hadoop ~]# rsync -av /etc/hosts node03:/etc/
sending incremental file list
hostssent 382 bytes  received 41 bytes  846.00 bytes/sec
total size is 291  speedup is 0.69
[root@hadoop ~]# rsync -av /etc/hosts node05:/etc/
Warning: Permanently added 'node05' (ECDSA) to the list of known hosts.
sending incremental file list
hostssent 382 bytes  received 41 bytes  846.00 bytes/sec
total size is 291  speedup is 0.69

(9)同步Hadoop文件

[root@hadoop ~]# rsync -aXSH --delete /usr/local/hadoop node05:/usr/local/

(10) 清除日志(node05节点)

[root@node05 ~]# cd /usr/local/hadoop/
[root@node05 hadoop]# ls
bin  etc  include  lib  libexec  LICENSE.txt  logs  NOTICE.txt  README.txt  sbin  share
[root@node05 hadoop]# cd logs/
[root@node05 logs]# ls
hadoop-root-balancer-hadoop.log  hadoop-root-namenode-hadoop.out           hadoop-root-secondarynamenode-hadoop.out    yarn-root-resourcemanager-hadoop.log
hadoop-root-balancer-hadoop.out  hadoop-root-namenode-hadoop.out.1         hadoop-root-secondarynamenode-hadoop.out.1  yarn-root-resourcemanager-hadoop.out
hadoop-root-namenode-hadoop.log  hadoop-root-secondarynamenode-hadoop.log  SecurityAuth-root.audit
[root@node05 logs]# rm -f *
[root@node05 logs]# ls
[root@node05 logs]#

(11)启动服务 (node05节点)

[root@node05 hadoop]# ./sbin/yarn-daemon.sh start nodemanager

查看jps 出现新角色

(15) 验证 (hadoop节点)

服务已互通

[root@hadoop hadoop]#  ./bin/yarn node -list
24/03/14 18:07:06 INFO client.RMProxy: Connecting to ResourceManager at hadoop/192.168.204.50:8032
Total Nodes:4Node-Id             Node-State Node-Http-Address       Number-of-Running-Containersnode01:40551                RUNNING       node01:8042                                  0node05:39920                RUNNING       node05:8042                                  0node02:46073                RUNNING       node02:8042                                  0node03:40601                RUNNING       node03:8042                                  0

3.Yarn 节点缩容

(1)删除节点 (node05节点)

[root@node05 hadoop]# ./sbin/yarn-daemon.sh stop nodemanager

查看jps

(2)验证 (hadoop节点)

这时node05节点还在(因为存在检测超时)

[root@hadoop hadoop]#  ./bin/yarn node -list

(3) 停止服务(hadoop节点)

[root@hadoop hadoop]# ./sbin/yarn-daemon.sh stop resourcemanager

(4)启动服务(hadoop节点)

[root@hadoop hadoop]# ./sbin/yarn-daemon.sh start resourcemanager

(5)验证 (hadoop节点)

这时暂无节点,需要等待30秒-1分钟

[root@hadoop hadoop]#  ./bin/yarn node -list

(6)再次验证 (hadoop节点)

node05节点已移除

[root@hadoop hadoop]#  ./bin/yarn node -list

二、问题

1.yarn启动服务报错

(1)报错

错误: 找不到或无法加载主类 nodemanager

(2)原因分析

命令错误。

(3)解决方法

修改命令,hadoop-daemon.sh 改为 yarn-daemon.sh

[root@node05 hadoop]# ./sbin/yarn-daemon.sh start nodemanager

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_1007710.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Hadoop大数据应用:HDFS 集群节点缩容

目录 一、实验 1.环境 2.HDFS 集群节点缩容 二、问题 1.数据迁移有哪些状态 2.数据迁移失败 一、实验 1.环境 (1)主机 表1 主机 主机架构软件版本IP备注hadoop NameNode (已部署) SecondaryNameNode (已部署…

react 项目如何暴露 webpack配置文件

首先创建一个项目: // 全局安装 create-react-app 脚手架 npm install create-react-app -g// 创建项目 create-react-app demo 创建完成后,进到项目根目录,执行以下命令: npm run eject 出现以下命令: 选择yes即可…

unity3d Animal Controller的Animal组件中Speeds,States和modes基础部分理解

Speeds 速度集是修改你可以做的原始动画,增加或减少运动,旋转,或动画速度。它们与 州 所以,当动物在运动状态下,在飞行或游泳时,你可以有不同的速度 如果你的性格动画是 (已到位), 你一定要调整速度 位置 和 旋转 每一种的价值观 速度装置 …否则,它们不会移动或旋转。 每个速…

关于nginx做正向代理的那些事

声明:该文章只是用于技术探索的实践与讨论,没有其他用途。 准备: 一台能访问外网的服务器;一个域名,映射到上面的服务器;https的证书及密钥;nginx安装包; 协议使用: 开…

3.基础算法之搜索与图论

1.深度优先搜索 深度优先搜索(DFS,Depth First Search)是一种用于遍历或搜索树或图的算法。它将当前状态按照一定的规则顺序,先拓展一步得到一个新状态,再对这个新状态递归拓展下去。如果无法拓展,则退回…

springboot笔记

springboot笔记 快速入门添加父工程和web启动器创建启动类编写处理器controller springboot 配置文件批量读取配置文件多环境配置和激活SpringBoot--springmvc整合和配置SpringBoot3整合Druid连接池SpringBoot3整合Mybatisspringboot--aop和tx整合和配置springboot工程打包和快…

upload-labs 0.1 靶机详解

下载地址https://github.com/c0ny1/upload-labs/releases Pass-01 他让我们上传一张图片,我们先尝试上传一个php文件 发现他只允许上传图片格式的文件,我们来看看源码 我们可以看到它使用js来限制我们可以上传的内容 但是我们的浏览器是可以关闭js功能的…

详解数据挖掘

数据挖掘(Data Mining),又译为资料探勘、数据采矿,是数据库知识发现(Knowledge-Discovery in Databases,简称:KDD)中的一个步骤。数据挖掘主要是指从大量的数据中,通过算…

计算机设计大赛 题目:基于LSTM的预测算法 - 股票预测 天气预测 房价预测

文章目录 0 简介1 基于 Keras 用 LSTM 网络做时间序列预测2 长短记忆网络3 LSTM 网络结构和原理3.1 LSTM核心思想3.2 遗忘门3.3 输入门3.4 输出门 4 基于LSTM的天气预测4.1 数据集4.2 预测示例 5 基于LSTM的股票价格预测5.1 数据集5.2 实现代码 6 lstm 预测航空旅客数目数据集预…

Spring Boot 中@Scheduled是单线程还是多线程?

在开发Spring Boot应用程序时,定时任务是一项常见的需求。Spring Boot提供了Scheduled注解,可用于将方法标记为定时任务,并在预定的时间间隔内执行。那么Scheduled注解的执行方式是单线程执行,还是多线程执行?Schedule…

蓝桥杯练习题——多路并归

1.鱼塘钓鱼 思路 不会反复横跳&#xff0c;按顺序合并&#xff0c;每次取出最大值 只需要考虑合并几个鱼塘&#xff0c;合并后剩余时间是多少&#xff0c;然后在这个超级鱼塘每次取最大值 #include<iostream> #include<queue> using namespace std; const int N …

数大数据时代的关键:融合数据治理与AI为企业增值_光点科技

在数据驱动的今天&#xff0c;企业不能再将数据治理和人工智能&#xff08;AI&#xff09;视作孤立的实体。它们之间的协同作用已经成为推动企业增长的强大引擎。本文将探索数据治理与AI如何相互作用&#xff0c;形成闭环&#xff0c;以及企业如何利用这一关系来提升数据价值&a…

Android studio 性能调试

一、概述 Android studio 的Profiler可用来分析cpu和memory问题&#xff0c;下来进行说明介绍。 二、Android studio CPU调试 从开发模拟器或设备中启动应用程序&#xff1b; 在 Android Studio 中&#xff0c;通过选择View > Tool Windows > Profiler启动分析器。 应…

基于MATLAB的直流无刷电机速度控制

作品简介 基于MATLAB的直流无刷电机速度控制 仿真平台&#xff1a;Matlab 仿真结果为&#xff1a;

Python数据分析实验一:Python数据采集与存储

目录 一、实验目的与要求二、实验过程三、主要程序清单和运行结果1、爬取 “中国南海网” 站点上的相关信息2、爬取天气网站上的北京的历史天气信息 四、程序运行结果五、实验体会 一、实验目的与要求 1、目的&#xff1a; 理解抓取网页数据的一般处理过程&#xff1b;熟悉应用…

Windows环境部署Hadoop-3.3.2和Spark3.3.2

目录 一、Windows环境部署Hadoop-3.3.2 1.CMD管理员解压Hadoop压缩包 2.配置系统环境变量 3.下载hadoop winutils文件 4.修改D:\server\hadoop-3.3.2\etc\hadoop目录下的配置文件 (1)core-site.xml (2)hdfs-site.xml (3)mapred-site.xml (4)yarn-site.xml (5)workers…

“antd“: Unknown word.cSpell

你遇到的问题是 VS Code 的 Code Spell Checker 插件在检查拼写时&#xff0c;将 "antd" 标记为未知单词。"antd" 是 Ant Design 的缩写&#xff0c;是一个流行的 React UI 库&#xff0c;不是一个英语单词&#xff0c;所以 Spell Checker 会将其标记为错误…

Sui技术帮助Studio Mirai成功实现创意愿景

Brian和Ben Li兄弟对艺术充满热情&#xff0c;通过共同创立的研发工作室Studio Mirai&#xff0c;他们正在探索Web3技术与创意产业的交集。 Studio Mirai的第一个头像类项目&#xff08;profile picture&#xff0c;PFP&#xff09;Tamashi存在于Nozomi World中&#xff0c;这…

C++的语法

可能需要用到存储各种数据类型&#xff08;比如字符型、宽字符型、整型、浮点型、双浮点型、布尔型等&#xff09; 下表显示了各种变量类型在内存中存储值时需要占用的内存&#xff0c;以及该类型的变量所能存储的最大值和最小值。 注意&#xff1a;不同系统会有所差异 #inc…

【阅读论文】智能数据可视分析技术综述

智能数据可视分析技术综述 文章结构 中文引用格式: 骆昱宇, 秦雪迪, 谢宇鹏, 李国良. 智能数据可视分析技术综述. 软件学报, 2024, 35(1): 356–404. http://www.jos.org.cn/1000-9825/6911.htm