安装说明

安装环境

虚拟机:VirtualBox-6.1.18
操作系统:Ubuntu16.04LTS
集群情况:

主机名称 hadoop版本 ZooKeeper版本 IP地址
hadoop-master 2.7.3 3.6.3 192.168.56.1
hadoop-slave1 2.7.3 3.6.3 192.168.56.2
hadoop-slave2 2.7.3 3.6.3 192.168.56.3

本次安装的Storm

Storm版本:2.3.6
下载地址:apache-storm-2.2.0.tar.gz
其他:Storm官网查看不同版本官方文档

都准备就绪后,我们就接着往下开始安装吧!
不知道怎么准备的,我之前的文章 也许可以给你带来一些参考哦 - - - ☞ 搭建hadoop集群
大型数据库(6)— ZooKeeper安装与配置.


开始安装

  1. 我的两个基础软件Hadoop、Java 分别是在/usr/hadoop 和 /usr/java下
  2. 其他的都安装在 ~/Hadoop 的文件夹下
  3. Storm不仅需安装在hadoop-master下,还需部署在slave机上

安装并配置Storm

解压

1
2
3
4
5
6
7
$ cd ~/下载
$ cp apache-storm-2.2.0.tar.gz ~/Hadoop
$ cd ~/Hadoop
$ tar -zxvf apache-storm-2.2.0.tar.gz
$ mv apache-storm-2.2.0 storm-2.2.0
$ cd storm-2.2.0/conf


配置

storm.yaml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
// 将此处的部分改为:
storm.zookeeper.servers:
- "hadoop-master"
- "hadoop-slave1"
- "hadoop-slave2"

storm.local.dir: "/tmp/storm"
nimbus.host: "hadoop-master"
nimbus.seeds: ["hadoop-master"]

supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

ui.port: 8888

// 注意这里改为自己的master机名称,和slave机名称

本机测试

此时,您可以在master主机上,稍微试试水…

1
2
3
4
$ cd ~/Hadoop/storm-2.2.0/bin
$ ./storm nimbus # 后台托管 ./storm nimbus >/dev/null 2>&1 &
$ ./storm ui # 后台托管 ./storm ui >/dev/null 2>&1 &

输入 $ jps 将会看到
成功启动
打开网页 http://192.168.56.1:8888/ 可以看到
成功启动

这样,你的master机基本上就配置好了!
我们先将其停掉,继续往后配置!


将Storm安装文件复制到Slave节点

1
2
3
4
$ cd ~/Hadoop
$ scp -r storm-2.2.0/ hadoop-slave1:~/Hadoop/
$ scp -r storm-2.2.0/ hadoop-slave2:~/Hadoop/


启动Storm

// slave 单纯启动 supervisor 即可,UI 在 hadoop-master 查看

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
// 首先是保证 各个机器 都开启了 zookeeper
$ cd ~/Hadoop/zookeeper-3.6.3/bin
$ ./zkServer.sh start


// hadoop-master
$ cd ~/Hadoop/storm-2.2.0/bin
$ ./storm nimbus # storm nimbus >/dev/null 2>&1 &
$ ./storm ui # storm ui >/dev/null 2>&1 &
$ ./storm supervisor # storm supervisor >/dev/null 2>&1 &


// hadoop-slave1、hadoop-slave2
$ cd ~/Hadoop/storm-2.2.0/bin
$ ./storm supervisor # storm supervisor >/dev/null 2>&1 &

hadoop-master 成功启动
成功启动
浏览器打开 http://192.168.56.1:16010 往下滑 可以看到以下页面
成功启动

hadoop-slave1hadoop-slave2 启动成功
启动成功



其他

关于怎么结束掉上面几个的运行,好像没法像什么好的方法
我自己实验通常就暴力点 $ kill -9 pid 简单粗暴!


参考文章:
W3Cschool Apache Storm安装
Storm集群安装部署步骤【详细版】