欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

HDFS的shell命令

时间:2023-05-03

调用文件系统(FS)的shell命令应使用 bin/hdfs dfs -xxx的形式所有的FS Shell命令使用URL路径作为参数URL的格式是scheme://authority/pash。HDFS的scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的scheme。大多数的FS Shell命令的行为和对应的Linux Shell命令类似 调用文件系统(FS)shell命令应使用bin/hdfs dfs -xxx的形式

ls 查看hdfs上的目录,例如:hdfs dfs -ls /put 将本地文件上传到hdfs,如hdfs dfs -put 本地文件路径 hdfs路径get 将hdfs文件下载到本地,如hdfs dfs -get hdfs文件路径 本地文件路径mkdir 在hdfs上创建文件夹,如hdfs dfs -mkdir /testcp 将hdfs文件或目录复制,如hdfs dfs -cp /test.txt/a/cta 查看hdfs上文件内容,如dhfs dfs -cat /test.txt 运行word count实例

如同刚开始学习编程一样,我们首先接触的肯定是helloworld,在hadoop里面,第一个程序是word count,这个程序就是统计单词出现的次数,这个程序在我们安装hadoop的时候已经自带了一个jar包,所以可以直接使用
在这里,前期我已经创建了一个文件words并上床到hdfs中的input文件夹(自己创建)中,并在文件中随机写入单词

hadoop jar hadoop-mapreduce-examples-2.7.6.jar wordcount /input /output

运行效果:根据hadoop的50070界面我们可以很直观的看见系统为我们自行创建了一个output文件夹

进入文件夹我们可以看见

我们可以点击Download来下载文件并在vscode中打开

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。