调用文件系统(FS)的shell命令应使用 bin/hdfs dfs -xxx的形式所有的FS Shell命令使用URL路径作为参数URL的格式是scheme://authority/pash。HDFS的scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的scheme。大多数的FS Shell命令的行为和对应的Linux Shell命令类似 调用文件系统(FS)shell命令应使用bin/hdfs dfs -xxx的形式
ls 查看hdfs上的目录,例如:hdfs dfs -ls /put 将本地文件上传到hdfs,如hdfs dfs -put 本地文件路径 hdfs路径get 将hdfs文件下载到本地,如hdfs dfs -get hdfs文件路径 本地文件路径mkdir 在hdfs上创建文件夹,如hdfs dfs -mkdir /testcp 将hdfs文件或目录复制,如hdfs dfs -cp /test.txt/a/cta 查看hdfs上文件内容,如dhfs dfs -cat /test.txt 运行word count实例
如同刚开始学习编程一样,我们首先接触的肯定是helloworld,在hadoop里面,第一个程序是word count,这个程序就是统计单词出现的次数,这个程序在我们安装hadoop的时候已经自带了一个jar包,所以可以直接使用
在这里,前期我已经创建了一个文件words并上床到hdfs中的input文件夹(自己创建)中,并在文件中随机写入单词
hadoop jar hadoop-mapreduce-examples-2.7.6.jar wordcount /input /output
运行效果:根据hadoop的50070界面我们可以很直观的看见系统为我们自行创建了一个output文件夹
进入文件夹我们可以看见
我们可以点击Download来下载文件并在vscode中打开