目录

一、sqoop概述

1.简介

2.原理

二、 sqoop安装配置 

1.下载

2.上传 

3.解压 

4.配置 

1）复制文件

2）添加该两行 

5.上传mysql驱动

6.执行命令 

7.sqoop指令介绍 

三、sqoop将Mysql表数据导入HDFS 

1.导入命令

2.执行命令 

3.出现错误 

4.在命令url处配置数据库对应 

5.出现错误 

6.库不对，azkaban库 

7.运行成功 

8.在HDFS上查看结果 

四、sqoop将Hive数据导出MySQL表中 

1.在本地mysql建立相同表结构

2.sqoop代码导出 

3.出现问题 

4.更改mysql配置 

 5.重新导出

6.成功查看结果 

---

一、sqoop概述

1.简介

Sqoop是Apache的一款开源工具，Sqoop主要用于在Hadoop和关系数据库或大型机之间传输数据，可以使用Sqoop工具将数据从关系数据库管理系统导入（import）到Hadoop分布式文件系统中，或者将Hadoop中的数据转换导出（export）到关系数据库管理系统。

2.原理

二、 sqoop安装配置 

1.下载

2.上传 

3.解压 

4.配置 

1）复制文件

2）添加该两行 

5.上传mysql驱动

6.执行命令 

7.sqoop指令介绍 

三、sqoop将Mysql表数据导入HDFS 

1.导入命令

2.执行命令 

3.出现错误 

4.在命令url处配置数据库对应 

5.出现错误 

6.库不对，azkaban库 

7.运行成功 

8.在HDFS上查看结果 

四、sqoop将Hive数据导出MySQL表中 

1.在本地mysql建立相同表结构

2.sqoop代码导出 

#导入mysql数据

#money

bin/sqoop export

   --connect jdbc:mysql://hadoop004:3306/jobs?useUnicode=true&characterEncoding=utf-8

   --username root

   --password JJ12315kk、

   --table money

   --columns "source,number"

   --fields-terminated-by '01'

   --export-dir /user/hive/warehouse/money

   --m 1

 

3.出现问题 

4.更改mysql配置 

show variables like'character%';

set character_set_database=utf8;

set character_set_server=utf8;

 5.重新导出

6.成功查看结果