欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Hadoop学习(4)-

时间:2023-05-14
解释说明 介绍

命令行界面(英语:command-line interface,缩写:CLI),是指用户通过键盘输入指令,计算机接收到指令后,予以执行一种人际交互方式。Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options]。 文件系统协议

HDFS Shell CLI支持操作多种文件系统,包括本地文件系统(file:///)、分布式文件系统(hdfs://nn:8020)等具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。如果没有指定前缀,则将会读取环境变量中的fs.defaultFS属性,以该属性值作为默认文件系统。

hadoop fs -ls file:/// #操作本地文件系统hadoop fs -ls hdfs://node1:8020/ #操作HDFS分布式文件系统hadoop fs -ls / #直接根目录,没有指定协议 将加载读取fs.defaultFS值

区别

hadoop dfs 只能操作HDFS文件系统(包括与Local FS间的操作),不过已经Deprecated;hdfs dfs 只能操作HDFS文件系统相关(包括与Local FS间的操作),常用;hadoop fs 可操作任意文件系统,不仅仅是hdfs文件系统,使用范围更广;

目前版本来看,官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多。

参数说明

HDFS文件系统的操作命令很多和Linux类似,因此学习成本相对较低。可以通过hadoop fs -help命令来查看每个命令的详细用法。 常用命令 创建文件夹

hadoop fs -mkdir [-p]

path 为待创建的目录
-p选项的行为与Unix mkdir -p非常相似,它会沿着路径创建父目录。

[root@node1 ~]# hadoop fs -mkdir /wuk[root@node1 ~]# hadoop fs -ls /Found 2 itemsdrwxr-xr-x - root supergroup 0 2022-02-16 15:56 /itcastdrwxr-xr-x - root supergroup 0 2022-02-17 15:19 /wuk多层目录hadoop fs -mkdir -p /itcast

查看指定目录下内容

hadoop fs -ls [-h] [-R] [ …]

path 指定目录路径
-h 人性化显示文件size
-R 递归查看指定目录及其子目录

上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] …

-f 覆盖目标文件(已存在下)
-p 保留访问和修改时间,所有权和权限。
localsrc 本地文件系统(客户端所在机器)
dst 目标文件系统(HDFS)

hadoop fs -put zookeeper.out /itcasthadoop fs -put file:///etc/profile hdfs://node1:8020/itcast[root@node1 export]# ll总用量 8drwxr-xr-x 3 root root 26 2月 16 10:45 data-rw-r--r-- 1 root root 19 2月 16 15:36 hello.txtdrwxr-xr-x 3 root root 26 2月 14 18:01 serverdrwxr-xr-x 2 root root 33 2月 14 18:01 software-rw-r--r-- 1 root root 47 2月 16 15:09 test.out[root@node1 export]# hadoop fs -put hello.txt /wuk[root@node1 export]# hadoop fs -ls /wukFound 1 items-rw-r--r-- 1 root supergroup 19 2022-02-17 15:39 /wuk/hello.txt

查看HDFS文件内容

hadoop fs -cat …

读取指定文件全部内容,显示在标准输出控制台。
注意:对于大文件内容读取,慎重。

[root@node1 export]# hadoop fs -cat /wuk/hello.txthello how are you[root@node1 export]#

下载HDFS文件

hadoop fs -get [-f] [-p] …

下载文件到本地文件系统指定目录,localdst必须是目录
-f 覆盖目标文件(已存在下)
-p 保留访问和修改时间,所有权和权限。

[root@node2 ~]# mkdir test[root@node2 ~]# cd test/[root@node2 test]# lltotal 0[root@node2 test]# hadoop fs -get /itcast/zookeeper.out ./[root@node2 test]# lltotal 20-rw-r--r-- 1 root root 18213 Aug 18 17:54 zookeeper.out

拷贝HDFS文件

hadoop fs -cp [-f] …

-f 覆盖目标文件(已存在下)

[root@node3 ~]# hadoop fs -cp /small/1.txt /itcast[root@node3 ~]# hadoop fs -cp /small/1.txt /itcast/666.txt #重命令[root@node3 ~]# hadoop fs -ls /itcast

追加数据到HDFS文件中

hadoop fs -appendToFile …

将所有给定本地文件的内容追加到给定dst文件。
dst如果文件不存在,将创建该文件。
如果为-,则输入为从标准输入中读取。

#追加内容到文件尾部 appendToFile[root@node3 ~]# echo 1 >> 1.txt[root@node3 ~]# echo 2 >> 2.txt [root@node3 ~]# echo 3 >> 3.txt [root@node3 ~]# hadoop fs -put 1.txt /[root@node3 ~]# hadoop fs -cat /1.txt1[root@node3 ~]# hadoop fs -appendToFile 2.txt 3.txt /1.txt[root@node3 ~]# hadoop fs -cat /1.txt123

HDFS数据移动操作

hadoop fs -mv …

移动文件到指定文件夹下,可以使用该命令移动数据,重命名文件的名称。

命令官方指导文档

官方命令查询

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。