安装说明

安装环境

虚拟机:VirtualBox-6.1.18
操作系统:Ubuntu16.04LTS
Hadoop:2.7.3
MySQL:5.7.33-0ubuntu0.16.04.1 (Ubuntu)

本次安装的Sqoop

Sqoop版本:1.99.7
官方文档:sqoop-docs/1.99.7
下载地址:sqoop-1.99.7-bin-hadoop200.tar.gz
其他:Sqoop官网查看不同版本.

都准备就绪后,我们就接着往下开始安装吧!
不知道怎么准备的,我之前的文章 也许可以给你带来一些参考哦 - - - ☞ 传送门
大型数据库(1)— Hive安装与配置.


开始安装

  1. 我的两个基础软件Hadoop、Java 分别是在/usr/hadoop 和 /usr/java下
  2. 其他的都安装在 ~/Hadoop 的文件夹下
  3. Sqoop仅需安装在hadoop-master下哦

配置MySQL

当前是root用户登录mysql

1
2
3
4
5
6
mysql> drop database if exists sqoop;

mysql> create database sqoop;

mysql> SET GLOBAL sql_mode = ANSI_QUOTES;

再将连接器(mysql-connector-java-5.1.27-bin.jar)CV到 $SQOOP_HOME/server/lib


安装并配置Sqoop

解压

1
2
3
4
5
6
7
$ cd ~/下载
$ cp sqoop-1.99.7-bin-hadoop200.tar.gz ~/Hadoop
$ cd ~/Hadoop
$ tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz
$ mv sqoop-1.99.7-bin-hadoop200 sqoop-1.99.7
$ cd sqoop-1.99.7/conf/


配置

sqoop.properties

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
// 将此处的JDBC改为mysql的
# JDBC repository provider configuration
org.apache.sqoop.repository.jdbc.handler=org.apache.sqoop.repository.mysql.MySqlRepositoryHandler
org.apache.sqoop.repository.jdbc.transaction.isolation=READ_COMMITTED
org.apache.sqoop.repository.jdbc.maximum.connections=10
org.apache.sqoop.repository.jdbc.url=jdbc:mysql://localhost:3306/sqoop
org.apache.sqoop.repository.jdbc.driver=com.mysql.jdbc.Driver
org.apache.sqoop.repository.jdbc.user=hadoop
org.apache.sqoop.repository.jdbc.password=hadoop

// 将此处的路径改为 自己的Hadoop的配置文件的路径
# Hadoop configuration directory
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/hadoop/etc/hadoop

// 去掉安全部分的注释
# Authentication configuration
org.apache.sqoop.security.authentication.type=SIMPLE
org.apache.sqoop.security.authentication.handler=org.apache.sqoop.security.authentication.SimpleAuthenticationHandler
org.apache.sqoop.security.authentication.anonymous=true

core-site.xml

因为是sqoop2,所以我们还需要配置$HADOOP_HOME/etc/hadoop下的 core-site.xml 文件

1
2
3
4
5
6
7
8
9
10
// 在该文件中增加以下两个属性
<property>
<name>hadoop.proxyuser.sqoop2.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.sqoop2.groups</name>
<value>*</value>
</property>

container-executor.cfg

添加能运行sqoop2服务器的用户
编辑$HADOOP_HOME/etc/hadoop下的 container-executor.cfg 文件

1
allowed.system.users=xld	// 这里'xld'改为自己登陆 Ubuntu 时的用户名

环境变量

1
2
3
4
5
6
7
8
9
10
11
12
13
// 这里直接是 /etc/profile ,当然你也可以加到 .bash_profile 下也行
$ sudo gedit .bash_profile

// 然后添加以下内容:
export SQOOP_HOME=/home/xld/Hadoop/sqoop-1.99.7
export PATH=$SQOOP_HOME/bin:$PATH
export CATALINA_HOME=$SQOOP_HOME/server
export SQOOP_SERVER_EXTRA_LIB=$SQOOP_HOME/server/lib
export LOGDIR=$SQOOP_HOME/logs

// 保存并退出,然后使其生效
$ source .bash_profile


启动Sqoop

1
2
3
4
// 启用工具进行验证
$ cd ~/Hadoop/sqoop-1.99.7/bin
$ ./sqoop2-tool verify

验证成功,可以看到下面有successful!
验证成功

1
2
3
// 验证成功后,可以开启服务器了
$ ./sqoop2-server start

启动成功,可以看到 Sqoop2 server started.
输入 $ jps 可以看到 SqoopJettyServer

启动成功



其他

参考文章:

  1. sqoop1.99.7安装、使用及部分问题

  2. sqoop2 初始化时 sql语法错误