安装说明

安装环境

虚拟机：VirtualBox-6.1.18
操作系统：Ubuntu16.04LTS
Hadoop：2.7.3
MySQL：5.7.33-0ubuntu0.16.04.1 (Ubuntu)

本次安装的Sqoop

Sqoop版本：1.99.7
官方文档：sqoop-docs/1.99.7
下载地址：sqoop-1.99.7-bin-hadoop200.tar.gz
其他：Sqoop官网、查看不同版本.

都准备就绪后，我们就接着往下开始安装吧！
不知道怎么准备的，我之前的文章也许可以给你带来一些参考哦 - - - ☞ 传送门
 大型数据库（1）— Hive安装与配置.

开始安装

我的两个基础软件Hadoop、Java 分别是在/usr/hadoop 和 /usr/java下
其他的都安装在 ~/Hadoop 的文件夹下
Sqoop仅需安装在hadoop-master下哦

配置MySQL

当前是root用户登录mysql

mysql> drop database if exists sqoop;

mysql> create database sqoop;

mysql> SET GLOBAL sql_mode = ANSI_QUOTES;

再将连接器（mysql-connector-java-5.1.27-bin.jar）CV到 $SQOOP_HOME/server/lib 下

安装并配置Sqoop

解压

$ cd ~/下载
$ cp sqoop-1.99.7-bin-hadoop200.tar.gz ~/Hadoop
$ cd ~/Hadoop
$ tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz
$ mv sqoop-1.99.7-bin-hadoop200 sqoop-1.99.7
$ cd sqoop-1.99.7/conf/

配置

sqoop.properties

// 将此处的JDBC改为mysql的
# JDBC repository provider configuration
org.apache.sqoop.repository.jdbc.handler=org.apache.sqoop.repository.mysql.MySqlRepositoryHandler
org.apache.sqoop.repository.jdbc.transaction.isolation=READ_COMMITTED
org.apache.sqoop.repository.jdbc.maximum.connections=10
org.apache.sqoop.repository.jdbc.url=jdbc:mysql://localhost:3306/sqoop
org.apache.sqoop.repository.jdbc.driver=com.mysql.jdbc.Driver
org.apache.sqoop.repository.jdbc.user=hadoop
org.apache.sqoop.repository.jdbc.password=hadoop

// 将此处的路径改为 自己的Hadoop的配置文件的路径
# Hadoop configuration directory
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/hadoop/etc/hadoop

// 去掉安全部分的注释
# Authentication configuration
org.apache.sqoop.security.authentication.type=SIMPLE
org.apache.sqoop.security.authentication.handler=org.apache.sqoop.security.authentication.SimpleAuthenticationHandler
org.apache.sqoop.security.authentication.anonymous=true

core-site.xml

因为是sqoop2，所以我们还需要配置$HADOOP_HOME/etc/hadoop下的 core-site.xml 文件

// 在该文件中增加以下两个属性
<property>
	<name>hadoop.proxyuser.sqoop2.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.sqoop2.groups</name>
	<value>*</value>
</property>

container-executor.cfg

添加能运行sqoop2服务器的用户
编辑$HADOOP_HOME/etc/hadoop下的 container-executor.cfg 文件

1	allowed.system.users=xld // 这里'xld'改为自己登陆 Ubuntu 时的用户名

环境变量

// 这里直接是 /etc/profile ，当然你也可以加到 .bash_profile 下也行
$ sudo gedit .bash_profile

// 然后添加以下内容：
export SQOOP_HOME=/home/xld/Hadoop/sqoop-1.99.7
export PATH=$SQOOP_HOME/bin:$PATH
export CATALINA_HOME=$SQOOP_HOME/server
export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/server/lib
export LOGDIR=$SQOOP_HOME/logs

// 保存并退出，然后使其生效
$ source .bash_profile

启动Sqoop

// 启用工具进行验证
$ cd ~/Hadoop/sqoop-1.99.7/bin
$ ./sqoop2-tool verify

验证成功，可以看到下面有successful!

1
2
3

// 验证成功后，可以开启服务器了
$ ./sqoop2-server start

启动成功，可以看到 Sqoop2 server started.
输入 $ jps 可以看到 SqoopJettyServer

其他

参考文章：