命令行界面(英语:command-line interface,缩写:CLI),是指用户通过键盘输入指令,计算机接收到指令后,予以执行一种人际交互方式。Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options]。 文件系统协议
HDFS Shell CLI支持操作多种文件系统,包括本地文件系统(file:///)、分布式文件系统(hdfs://nn:8020)等具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。如果没有指定前缀,则将会读取环境变量中的fs.defaultFS属性,以该属性值作为默认文件系统。
hadoop fs -ls file:/// #操作本地文件系统hadoop fs -ls hdfs://node1:8020/ #操作HDFS分布式文件系统hadoop fs -ls / #直接根目录,没有指定协议 将加载读取fs.defaultFS值
区别hadoop dfs 只能操作HDFS文件系统(包括与Local FS间的操作),不过已经Deprecated;hdfs dfs 只能操作HDFS文件系统相关(包括与Local FS间的操作),常用;hadoop fs 可操作任意文件系统,不仅仅是hdfs文件系统,使用范围更广;
目前版本来看,官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多。
参数说明HDFS文件系统的操作命令很多和Linux类似,因此学习成本相对较低。可以通过hadoop fs -help命令来查看每个命令的详细用法。 常用命令 创建文件夹
hadoop fs -mkdir [-p]
…
path 为待创建的目录
-p选项的行为与Unix mkdir -p非常相似,它会沿着路径创建父目录。
[root@node1 ~]# hadoop fs -mkdir /wuk[root@node1 ~]# hadoop fs -ls /Found 2 itemsdrwxr-xr-x - root supergroup 0 2022-02-16 15:56 /itcastdrwxr-xr-x - root supergroup 0 2022-02-17 15:19 /wuk多层目录hadoop fs -mkdir -p /itcast
查看指定目录下内容hadoop fs -ls [-h] [-R] [
…]
path 指定目录路径
-h 人性化显示文件size
-R 递归查看指定目录及其子目录
hadoop fs -put [-f] [-p] …
-f 覆盖目标文件(已存在下)
-p 保留访问和修改时间,所有权和权限。
localsrc 本地文件系统(客户端所在机器)
dst 目标文件系统(HDFS)
hadoop fs -put zookeeper.out /itcasthadoop fs -put file:///etc/profile hdfs://node1:8020/itcast[root@node1 export]# ll总用量 8drwxr-xr-x 3 root root 26 2月 16 10:45 data-rw-r--r-- 1 root root 19 2月 16 15:36 hello.txtdrwxr-xr-x 3 root root 26 2月 14 18:01 serverdrwxr-xr-x 2 root root 33 2月 14 18:01 software-rw-r--r-- 1 root root 47 2月 16 15:09 test.out[root@node1 export]# hadoop fs -put hello.txt /wuk[root@node1 export]# hadoop fs -ls /wukFound 1 items-rw-r--r-- 1 root supergroup 19 2022-02-17 15:39 /wuk/hello.txt
查看HDFS文件内容hadoop fs -cat …
读取指定文件全部内容,显示在标准输出控制台。
注意:对于大文件内容读取,慎重。
[root@node1 export]# hadoop fs -cat /wuk/hello.txthello how are you[root@node1 export]#
下载HDFS文件hadoop fs -get [-f] [-p] …
下载文件到本地文件系统指定目录,localdst必须是目录
-f 覆盖目标文件(已存在下)
-p 保留访问和修改时间,所有权和权限。
[root@node2 ~]# mkdir test[root@node2 ~]# cd test/[root@node2 test]# lltotal 0[root@node2 test]# hadoop fs -get /itcast/zookeeper.out ./[root@node2 test]# lltotal 20-rw-r--r-- 1 root root 18213 Aug 18 17:54 zookeeper.out
拷贝HDFS文件hadoop fs -cp [-f] …
-f 覆盖目标文件(已存在下)
[root@node3 ~]# hadoop fs -cp /small/1.txt /itcast[root@node3 ~]# hadoop fs -cp /small/1.txt /itcast/666.txt #重命令[root@node3 ~]# hadoop fs -ls /itcast
追加数据到HDFS文件中hadoop fs -appendToFile …
将所有给定本地文件的内容追加到给定dst文件。
dst如果文件不存在,将创建该文件。
如果为-,则输入为从标准输入中读取。
#追加内容到文件尾部 appendToFile[root@node3 ~]# echo 1 >> 1.txt[root@node3 ~]# echo 2 >> 2.txt [root@node3 ~]# echo 3 >> 3.txt [root@node3 ~]# hadoop fs -put 1.txt /[root@node3 ~]# hadoop fs -cat /1.txt1[root@node3 ~]# hadoop fs -appendToFile 2.txt 3.txt /1.txt[root@node3 ~]# hadoop fs -cat /1.txt123
HDFS数据移动操作hadoop fs -mv …
移动文件到指定文件夹下,可以使用该命令移动数据,重命名文件的名称。
命令官方指导文档官方命令查询