部署好hadoop,伪分布式部署还是分布式集群部署都可以,部署参见如下:
1、伪分布部署参见:https://blog.csdn.net/weixin_40612128/article/details/119008295?spm=1001.2014.3001.5502
2、分布式集群部署参见:https://blog.csdn.net/weixin_40612128/article/details/122770580?spm=1001.2014.3001.5502
二、检查hadoop各个服务进程是否启动输入如下命令
jps
注:我这里是伪分布式部署,有如下的进程。
如果没有这些进程,例如,输入jps后如下:
jps
就要启动hadoop集群,输入如下命令
start-all.sh
注意,我这里可以在任意目录输入start-all.sh是因为我把Hadoop的安装目录配置到/etc/profile里了,如下:
输入start-all.sh命令后,再输入jps,hadoop就启动好了,如下:
hdfs dfs -ls hdfs://bigdata01:9000/
或者简写如下:
hdfs dfs -ls /
2、-put:从本地上传文件hdfs dfs -put hello.txt /hdfs dfs -ls /
3、-cat:查看HDFS文件内容hdfs dfs -ls /hdfs dfs -cat /hello.txt
4、-get:下载文件到本地hdfs dfs -get /hello.txt ./
5、-mkdir [-p]:创建文件夹hdfs dfs -mkdir /testhdfs dfs -mkdir -p /a/b
注:递归显示在ls后加-R参数
hdfs dfs -ls -R /
注意,因为我这个目录下文件比较多,一般刚安装的话,里面是没有文件的!!
6、-rm [-r]:删除文件/文件夹hdfs dfs -rm /hello.txt
删除目录加-r参数
hdfs dfs -rm -r /test
如果是多级目录也可以递归删除
hdfs dfs -rm -r /a
四、HDFS一些实际操作 首先上传几个文件到hdfs的/test目录下
内容都是一样的,复制几个上传上去。
hello worldhello youhell me
1、统计根目录下文件的个数hdfs dfs -ls /test | grep /test| wc -l
2、统计根目录下每个文件的大小,最终把文件名称和大小打印出来hdfs dfs -ls /test |grep /test | awk '{print $8,$5}'