安装说明

安装环境

虚拟机：VirtualBox-6.1.18
操作系统：Ubuntu16.04LTS
集群情况：

主机名称 hadoop版本 IP地址
hadoop-master 2.7.3 192.168.56.1
hadoop-slave1 2.7.3 192.168.56.2
hadoop-slave2 2.7.3 192.168.56.3

本次安装的Spark

Spark版本：2.3.6
下载地址：spark-3.1.2-bin-hadoop2.7.tgz
其他：Spark官网 、查看不同版本、Spark3.1.2 官方文档

都准备就绪后，我们就接着往下开始安装吧！
不知道怎么准备的，我之前的文章 也许可以给你带来一些参考哦 - - - ☞ 搭建hadoop集群

开始安装

  1. 我的两个基础软件Hadoop、Java 分别是在/usr/hadoop 和 /usr/java下
  2. 其他的都安装在 ~/Hadoop 的文件夹下
  3. Spark仅需安装在hadoop-master下哦

安装并配置Spark

解压

1
2
3
4
5
6
$ cd ~/下载
$ cp spark-3.1.2-bin-hadoop2.7.tgz ~/Hadoop/
$ cd ~/Hadoop
$ tar -zxvf spark-3.1.2-bin-hadoop2.7.tgz
$ mv spark-3.1.2-bin-hadoop2.7 spark-3.1.2


配置

slaves

1
2
3
4
5
6
7
8
9
// 创建一个新的文件"slaves"
$ cd spark-3.1.2/conf/
$ gedit slaves

// 添加以下内容，保存退出
hadoop-master
hadoop-slave1
hadoop-slave2

spark-defaults.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
// 复制一份 spark-defaults.conf 并进行编辑
$ cp spark-defaults.conf.template spark-defaults.conf
$ gedit spark-defaults.conf

// 去掉底部的注释部分，改为以下内容
spark.master                     spark://hadoop-master:7077
spark.eventLog.enabled           true
spark.eventLog.dir               dfs://hadoop-master:8020/spark-logs
spark.history.fs.loDirectory     hdfs://hadoop-master:8020/spark-logs
spark.serializer                 org.apache.spark.serializer.KryoSerializer
spark.driver.memory              5g
spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

spark-env.sh

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
// 复制一份 spark-env.sh 并进行编辑
$ cp spark-env.sh.template spark-env.sh
$ gedit spark-env.sh

// 在最后添加以下内容
export JAVA_HOME=/usr/java
export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop
export SPARK_MASTER_IP=192.168.56.1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1G
export SPARK_WORKER_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_EXECUTOR_CORES=1
export SPARK_WORKER_TNSTANCES=1

环境变量

1
2
3
4
5
6
7
8
9
10
11
// 我是添加在 /etc/profile
$ sudo gedit /etc/profile

// 然后在里面加入下面两句

export SPARK_HOME=/home/xld/Hadoop/spark-3.1.2
export PATH=$PATH:$SPARK_HOME/bin

// 保存并退出，然后使其生效
$ source .bash_profile


启动Spark

1
2
3
$ cd ~/Hadoop/spark-3.1.2/sbin/
$ ./mahout

成功启动，能看见下面一堆相关信息
输入 $ jps 可以看到 Worker 和 Master
成功启动

用浏览器打开 http://192.168.56.1:8080 可以看到以下界面：
浏览器打开


其他

最后，自己可以跑跑 官方文档 Running the Examples and Shell 中的一些例子试试。

参考文章：Spark-3.1.2搭建