Hadoop Shell常用命令

news/2024/5/3 12:28:07/文章来源:https://blog.csdn.net/weixin_42011858/article/details/129191458

Hadoop Shell命令在管理HDFS的时候还是比较常用的,Hadoop Shell命令与shell命令极为相似,但是方便查询,在这里总结分享,大家enjoy~~

1,cat

语法格式:hadoop fs -cat URI [URI …]
含义:将路径指定文件的内容输出到stdout。
示例:

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4

2,chgrp

语法格式:hadoop fs -chgrp [-R] GROUP URI [URI …]
含义:改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

3,chmod

语法格式:hadoop fs -chmod [-R] <MODE[,MODE]… | OCTALMODE> URI [URI …]
含义:改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。
选项:
-R:递归修改文件。
< MODE >:模式与用于shell命令的模式相同。
< OCTALMODE>:数字表示。

4,chown

语法格式:hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
含义:改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。

5,put

语法格式:hadoop fs -put …
含义:从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。
选项:
-f:如果目标已存在,则覆盖该目标。
-p:保留访问和修改时间、所有权和模式。
-d:跳过临时文件的创建。
示例:

hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile

6,mv

语法格式:hadoop fs -mv URI [URI …]
含义:将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
示例:

hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1

7,rm

语法格式:hadoop fs -rm URI [URI …]
含义:删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。
选项:
-f:如果文件不存在,不显示诊断消息或修改退出状态以反映错误。
-[rR]:递归删除目录。
-skipTrash:删除时不经过回收站,直接删除。
-safely:需要安全确认。
示例:

hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir

8,rmr

语法格式:hadoop fs -rmr URI [URI …]
含义:delete的递归版本。
示例:

hadoop fs -rmr /user/hadoop/dir
hadoop fs -rmr hdfs://host:port/user/hadoop/dir

9,tail

语法格式:hadoop fs -tail [-f] URI
含义:将文件尾部1K字节的内容输出到stdout。支持-f选项,行为和Unix中一致。
示例:

hadoop fs -tail pathname

10,test

语法格式:hadoop fs -test -[ezd] URI
参数:
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录,则返回1,否则返回0。
示例:

hadoop fs -test -e filename

11,text

语法格式:hadoop fs -text
含义:将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。
示例:

12,touchz

语法格式:hadoop fs -touchz URI [URI …]
含义:创建一个0字节的空文件。
示例:

hadoop -touchz pathname

13,du

语法格式:hdfs dfs –du –s /directory/filename
含义:HDFS 命令检查文件大小。
选项:
-s:显示总使用情况,不显示每个独立目录或文件的使用情况。
-h:以人类可读的方式格式化文件大小,而不是按字节数。
-x:不计算快照。
示例:

hdfs dfs –du –s / new_edureka / sample

14,copyFromLocal

语法格式:hdfs dfs -copyFromLocal
含义:HDFS 命令将文件从本地文件系统复制到 HDFS。
示例:

hdfs dfs –copyFromLocal /home/test/test/new_test

注意: 这里测试的是本地目录/home/test中的文件,命令执行后测试文件将被复制到HDFS的/new_test目录中。

15,copyToLocal

语法格式:hdfs dfs -copyToLocal
含义:HDFS 命令将文件从 HDFS 复制到本地文件系统。
示例:

hdfs dfs –copyToLocal /test/test/home/test

注意:这里的 test 是 HDFS 的 test目录下的一个文件,执行命令后,test 文件将被复制到本地目录 /home/test

16,get

语法格式:hdfs dfs -get
含义:HDFS 命令将文件从 hdfs 复制到本地文件系统。
选项:
-f:如果目标已存在,则覆盖该目标
-ignoreCrc:忽略CRC校验
-crc:使用CRC校验
示例:

hdfs dfs –get /user/test /home/test 

注意:命令 copyToLocal 类似于 get 命令,不同之处在于目标仅限于本地文件引用。

17,count

语法格式:hdfs dfs -count
含义:HDFS 命令计算路径下与指定文件模式匹配的目录、文件和字节数。
示例:

hdfs dfs –count /user

18,cp

语法格式:hdfs dfs -cp
含义:HDFS 命令将文件从源复制到目标。此命令也允许多个源,在这种情况下,目标必须是目录。
选项:
-f:如果目标已存在,则覆盖该目标。
-p , -p[topax] :保留状态,参数[topax]分别表示(时间戳、所有权、权限、ACL、XAttr),无参数则不保留状态。
-d:跳过临时文件的创建。
示例:

hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2
hdfs dfs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

19,usage

语法格式:hdfs dfs -usage
含义:显示给定命令的用法,如果未指定则显示所有任何命令的用法。
选项:
-conf 指定一个应用的配置文件
-D <property=value> 给定属性的使用值
-fs <local|namenode:port> 指定一个namenode
-jt <local|resourcemanager:port> 指定一个ResourceManager
-files 指定使用逗号分隔被拷贝进map reduce集群的文件
-libjars 指定要包含在classpath中的逗号分隔的jar文件
-archives 指定要在计算机上的逗号分隔的存档文件

注意:通过使用 usage 命令,您可以获得有关任何命令的信息。

20 ,mkdir

语法格式:hdfs dfs -mkdir [-p]
含义:通过 mkdir 命令可以实现在指定位置创建以 指定的文件名 命名的文件夹或目录。要创建文件夹或目录的用户必须对所创建的文件夹的父文件夹具有写权限。并且所创建的文件夹(目录)不能与其父目录(即父文件夹)中的文件名重名,即同一个目录下不能有同名的(区分大小写)。还可以设置目录的权限。
示例:

hdfs dfs -mkdir /test1

21,df

语法格式:hdfs dfs -df -h /
含义:统计文件系统的可用空间信息
选项:
-h:以人类可读的方式格式化文件大小,而不是按字节数。
示例:

hdfs dfs -df -h /

22,ls

语法格式:hdfs dfs -ls [-C] [-d] [-h] [-R] [-t] [-S] [-r] [-u] […]
含义:显示目录信息
选项:
-C:仅显示文件和目录的路径。
-d:目录列为普通文件。
-h:以人类可读的方式格式化文件大小,而不是按字节数。
-R:递归地列出目录的内容。
-t:按修改时间对文件排序(最近的第一次)。
-S:按大小对文件进行排序。
-r:颠倒排序顺序。
-u:使用上次访问的时间而不是修改来显示和排序。
示例:

hdfs dfs -ls /  

23,help

语法格式:hdfs dfs -help [cmd …]
含义:帮助命令
选项:
-d:显示命令简短的主题描述。
-s:显示命令简短的语法描述。
cmd…:需要查询的一个或多个命令。
示例:

hdfs dfs -help

在这里插入图片描述

以上内容,一部分来自我平常工作学习中用到的命令,还有一部分来源于网络的整理,仅供学习交流,如有侵犯,联系删除哦!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_262331.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【架构师】零基础到精通——架构演进

博客昵称&#xff1a;架构师Cool 最喜欢的座右铭&#xff1a;一以贯之的努力&#xff0c;不得懈怠的人生。 作者简介&#xff1a;一名Coder&#xff0c;软件设计师/鸿蒙高级工程师认证&#xff0c;在备战高级架构师/系统分析师&#xff0c;欢迎关注小弟&#xff01; 博主小留言…

华为OD机试题,用 Java 解【查找接口成功率最优时间段】问题

最近更新的博客 华为OD机试 - 猴子爬山 | 机试题算法思路 【2023】华为OD机试 - 分糖果(Java) | 机试题算法思路 【2023】华为OD机试 - 非严格递增连续数字序列 | 机试题算法思路 【2023】华为OD机试 - 消消乐游戏(Java) | 机试题算法思路 【2023】华为OD机试 - 组成最大数…

【数据库】redis集群环境详解

目录 集群环境 一&#xff0c;集群介绍 1、为什么需要redis集群 2、什么是redis集群 二&#xff0c;数据分片 三&#xff0c; 主从复制模型 四&#xff0c;一致性保证 五&#xff0c;集群搭建 1&#xff0c; 集群结构 2&#xff0c;创建配置文件 &#xff08;1&#…

RebbitMQ 消息队列(简单使用)

消息队列介绍 MQ的优势 1.业务解耦&#xff1a;不同系统消费信息互不关联&#xff0c;灵活增减系统数量&#xff0c;修改某个系统其他系统也不影响 2.异步提速&#xff1a;不同系统之间可同时响应&#xff0c;提升并发量 3.削峰填谷&#xff1a;处理消息高峰期&#xff0c;均摊…

Ubuntu通过kubeadm安装k8s

kubeadm kubeadm是一个构建k8s集群的工具。它提供的kubeadm init和 kubeadm join 两个命令是快速构建k8s集群的最佳实践。 其次&#xff0c;kubeadm工具只为构建最小可用集群&#xff0c;它只关心集群中最基础的组件&#xff0c;至于其他的插件&#xff08;比如dashboard、CNI…

SpringCloud - Gateway网关路由

目录 网关初步介绍 搭建网关服务 路由断言工厂Route Predicate Factory 路由过滤器 GatewayFilter 全局过滤器 GlobalFilter 过滤器执行顺序 网关的cors跨域配置 网关初步介绍 不是所有的请求&#xff0c;都能访问服务&#xff0c;所以需要网关对来访问的请求进行提前判…

java 9 的新特性解读(1)

前言  经过4次跳票&#xff0c;历经曲折的Java 9 终于终于在2017年9月21日发布。  从Java 9 这个版本开始&#xff0c;Java 的计划发布周期是 6 个月&#xff0c;下一个 Java 的主版本将于 2018 年 3 月发布&#xff0c;命名为 Java 18.3&#xff0c;紧接着再过六个月将发布…

CSS 盒子模型【快速掌握知识点】

目录 一、什么是盒子模型 二、边框border-color 三、边框粗细border-width 四、边框样式border-style 五、外边距margin 六、内边距padding 七、圆角边框 八、圆形 九、盒子阴影 一、什么是盒子模型 css盒子模型又称为框模型&#xff0c;盒子的最内部是元素的实际内容…

【Git】与“三年经验”就差个分支操作的距离

前言 Java之父于胜军说过&#xff0c;曾经一位“三年开发经验”的程序员粉丝朋友&#xff0c;刚入职因为不会解决分支问题而被开除&#xff0c;这是不是在警示我们什么呢&#xff1f; 针对一些Git的不常用操作&#xff0c;我们通过例子来演示一遍 1.版本回退 1.1已提交但未p…

notepad++如何快速批量搜索复制,3步搜索+标记所在行+复制书签行

一。缘起 用习惯了 某edit, 突然用notepad很不习惯&#xff0c;至少3处不习惯&#xff1a;列操作&#xff0c;批量复制搜索行&#xff0c;和是txt文件比较。 另外一直坚持认为&#xff0c;不提供快捷键操作的软件不是好软件&#xff1a;&#xff09;当下屏幕对眼睛迫害至深的时…

SGI 空间配置器

前言 空间配置器是 STL 六大组件之一&#xff0c;它总是隐藏在容器的背后&#xff0c;默默工作&#xff0c;默默付出。本文为《STL 源码剖析》读书笔记&#xff0c;主要讨论 SGI 版本空间的配置和释放&#xff0c;对代码进行解读时会改变一些写法&#xff0c;使其更易于阅读。…

企业急需:拥有一个属于自身的知识库!

如今&#xff0c;拥有知识库对任何企业来说都是绝对必要的。特别是在软件即服务方面。如果您真的希望您的 SaaS 业务取得成功&#xff0c;您需要从第一天开始构建知识库。为什么&#xff1f;首先&#xff0c;SaaS 公司有一个货币化模型&#xff0c;专注于他们的每月经常性收入 …

多传感器分布式融合算法——多传感器网络协同目标跟踪和定位

多传感器分布式融合算法 应用&#xff1a; 多传感器网络协同目标跟踪及定位 原创不易&#xff0c;路过的各位大佬请点个赞 主要讲解算法&#xff1a; 多传感器集中式融合算法/分布式融合算法/序贯融合算法 多速率多传感器异步融合算法 多传感器…

PHP程序员适合创业吗?

创业是一件自然而然的事&#xff0c;不需要人为选择。 只要你是一个努力能干主动的人&#xff0c;当你在一个行业深耕5年之后&#xff0c;就会发现人生发展的下一步就是创业。当然如果行业合适的话。 什么叫行业合适呢&#xff1f; 就是创业的成本并不那么高&#xff0c;不需…

js 实现 Logo(图片)根据图片后面的图片颜色而变化成相反的颜色【解决logo固定后 会出现与不同板块的颜色相同导致于看不清logo的情况】

效果展示&#xff1a; <meta charset"UTF-8"> <meta name"viewport" content"widthdevice-width, initial-scale1.0"> <meta http-equiv"X-UA-Compatible" content"ieedge"><style type"text/css…

Unreal Engine 虚幻引擎,性能分析,优化(二)

一、CPU 性能分析 如渲染线程中出现 CPU 受限&#xff0c;原因可能是绘制调用过多。这是一个常见问题&#xff0c;美术师通常会将绘制调用进行组合&#xff0c;从而减少消耗&#xff08;如&#xff1a;将多个墙壁组合为一个网格体&#xff09;。实际消耗存在于多个区域中&…

vue3路由守卫

文章目录路由守卫1.全局路由守卫2.组件内守卫3.路由独享守卫提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考路由守卫 全局守卫&#xff08;3个&#xff09; 路由独享守卫&#xff08;1个&#xff09; 组件的守卫&#xff08;3个&#xff09; 路由守卫的…

蓝牙运动耳机哪个好,比较好的运动蓝牙耳机

很多想选择蓝牙运动耳机的朋友都不知道应该如何选择&#xff0c;运动首先需要注意的就是耳机的防水能力以及耳机佩戴舒适度&#xff0c;在运动当中会排出大量的汗水&#xff0c;耳机防水等级做到越高&#xff0c;可以更好地保护耳机不受汗水浸湿&#xff0c;下面就分享五款适合…

《图机器学习》-Graph Neural Network

前言 回顾之前的Node Embedding&#xff1a; 将图中的节点嵌入到d维空间&#xff0c;并确保图中相似的节点能够嵌在一起。 即学习一个编码器ENCENCENC确保图的节点嵌入到embedding space依然能够描述原空间节点之间的相似性。 在Node Embedding中&#xff0c;我们需要设计&…

CSCode 配置一条龙 CPP/CC

下载 官⽹下载地址&#xff1a;Download Visual Studio Code - Mac, Linux, Windows 下载太慢&#xff0c;推荐⽂章&#xff1a;解决VsCode下载慢问题_wang13679201813的博客-CSDN博客_vscode下载慢 安装 无脑下一步 推荐插件 免配置&#xff1a; 1. Remote - SSH - 远程…