Smail_的gravatar头像
Smail_ 2018-03-02 10:57:19
Centos7 Spark2.2 Standalone集群搭建

1.创建3个centos虚拟机

关闭防火墙 systemctl stop firewalld

在 centos7 中默认没有安装 ifconfig,执行 yum install net-tools 安装

注:这里也可以只创建1个实例,做好环境和基础的配置准备,再用克隆功能克隆出2个新的实例,只需要改下IP和mac地址即可

 

2.修改网卡配置(配静态IP)

修改网卡配置文件,vi /etc/sysconfig/network-scripts/ifcfg-eth0

TYPE=Ethernet

BOOTPROTO=static

IPADDR=10.211.55.6

NETMASK=255.255.255.0

NAME=eth0

DEVICE=eth0

ONBOOT=yes

DNS1=114.114.114.114

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=localhost.localdomain

GATEWAY=10.211.55.1

NM_CONTROLLED=no

重启服务

service network restart

查看IP

 

3.修改机器名(即hostname)

master:hostnamectl set-hostname spark_master

slave_1:hostnamectl set-hostname spark_slave_1

slave_2:hostnamectl set-hostname spark_slave_2

 

4.修改Host

vi /etc/hosts追加:

master主机IP spark_master

slave_1主机IP spark_slave_1

slave_2主机IP spark_slave_2

 

5.创建免密登录

spark是用scp在服务器之间传文件的,所以需要创建彼此之间SSH免密登录(下文root需要替换为实际的服务器用户名)

每台机器上生成公钥和私钥 ssh-keygen -t rsa 一路回车到底

相互之间拷贝公钥,本机对自己也需要拷贝(下面的指令只能一句一句执行,不能复制连带一起):

ssh-copy-id -i ~/.ssh/id_rsa.pub root@spark_slave_1

ssh-copy-id -i ~/.ssh/id_rsa.pub root@spark_slave_2

ssh-copy-id -i ~/.ssh/id_rsa.pub root@spark_master

 

6.安装JDK

rpm -ivh jdk-8u151-linux-x64.rpm

 

7.安装Scala

rpm -ivh scala-2.12.4.rpm

 

8.部署Spark

81 下载spark-2.2.0-bin-hadoop2.7.tgz

8.2 tar zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /usr/local/ 注:子节点的路径必须和主节点一致

8.3 cd /usr/local/spark-2.2.0-bin-hadoop2.7/

8.4 cd conf

8.5 mv slaves.template slaves

8.6 vi slaves

在该文件中添加子节点所在的位置(Worker节点,文中的localhost删掉)

spark_master

spark_slave_1

spark_slave_2

8.7 mv spark-env.sh.template spark-env.sh

8.8 vi spark-env.sh

在该配置文件中添加如下配置:

export JAVA_HOME=/usr/java/jdk1.8.0_151

export SCALA_HOME=/usr/share/scala

export SPARK_CONF_DIR=/usr/local/spark-2.2.0-bin-hadoop2.7/conf

export SPARK_MASTER_HOST=10.211.55.6 ##非常关键

export SPARK_MASTER_PORT=7077

export SPARK_MASTER_WEBUI_PORT=8080

export SPARK_EXECUTOR_INSTANCES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_CORES=1

export SPARK_WORKER_MEMORY=1024M

8.9 将slaves、spark-env.sh拷到所有的子节点对应的文件夹下

8.10 cd ../sbin

8.11 启动集群:./start-all.sh

8.12 查看启动日志的输出是否正常

8.13 验证:用浏览器打开http://10.211.55.6:8080查看是否有3个worker节点


打赏

已有1人打赏

最代码官方的gravatar头像
最近浏览
ghellpatter  LV8 2019年2月27日
择城而就12  LV7 2018年9月21日
8608140hao  LV23 2018年5月12日
liuwen_7777  LV8 2018年5月4日
柏文JJ  LV21 2018年3月19日
kylinc  LV8 2018年3月19日
程序猿全敏  LV29 2018年3月19日
terryang  LV19 2018年3月19日
锅盖侠520  LV9 2018年3月15日
ducomeOn  LV3 2018年3月14日
顶部 客服 微信二维码 底部
>扫描二维码关注最代码为好友扫描二维码关注最代码为好友