欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

Sqoop导入mysql数据到HDFS

时间:2023-05-14

首先通过sqoop查看mysql数据库
命令:./sqoop list-databases --connect jdbc:mysql://***.*.:3306/?useSSL=false --username *** --password *******

然后在mysql中创建表

DROP TABLE IF EXISTS `mgmqtest`;CREATE TABLE `mgmqtest` ( `id` int(10) DEFAULT NULL, `uid` int(10) DEFAULT NULL, `title` varchar(100) DEFAULT NULL, `name` varchar(100) DEFAULT NULL, `status` int(10) DEFAULT NULL, `time` timestamp NULL DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8;

发现我的用户没有插入权限

找一个有数据的表 直接开始抽数据
表名:amount_bk

sqoop运行命令: 期间要走mr的

./sqoop import --connect jdbc:mysql://***.***.**:3306/****?useSSL=false --username **** --password **** --table amount_bk -m 1

查看hdfs上文件:

hdfs dfs -cat /user/root/amount_bk/part-m-00000

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。