Smail_的gravatar头像
Smail_2018-03-02 10:57:19
Centos7 Spark2.2 Standalone集群搭建

1.创建3个centos虚拟机

关闭防火墙systemctl stop firewalld

在 centos7 中默认没有安装ifconfig,执行yum install net-tools安装

注:这里也可以只创建1个实例,做好环境和基础的配置准备,再用克隆功能克隆出2个新的实例,只需要改下IP和mac地址即可

 

2.修改网卡配置(配静态IP)

修改网卡配置文件,vi /etc/sysconfig/network-scripts/ifcfg-eth0

TYPE=Ethernet

BOOTPROTO=static

IPADDR=10.211.55.6

NETMASK=255.255.255.0

NAME=eth0

DEVICE=eth0

ONBOOT=yes

DNS1=114.114.114.114

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=localhost.localdomain

GATEWAY=10.211.55.1

NM_CONTROLLED=no

重启服务

service network restart

查看IP

 

3.修改机器名(即hostname)

master:hostnamectl set-hostname spark_master

slave_1:hostnamectl set-hostname spark_slave_1

slave_2:hostnamectl set-hostname spark_slave_2

 

4.修改Host

vi /etc/hosts追加:

master主机IP spark_master

slave_1主机IP spark_slave_1

slave_2主机IP spark_slave_2

 

5.创建免密登录

spark是用scp在服务器之间传文件的,所以需要创建彼此之间SSH免密登录(下文root需要替换为实际的服务器用户名)

每台机器上生成公钥和私钥ssh-keygen -t rsa一路回车到底

相互之间拷贝公钥,本机对自己也需要拷贝(下面的指令只能一句一句执行,不能复制连带一起):

ssh-copy-id -i ~/.ssh/id_rsa.pub root@spark_slave_1

ssh-copy-id -i ~/.ssh/id_rsa.pub root@spark_slave_2

ssh-copy-id -i ~/.ssh/id_rsa.pub root@spark_master

 

6.安装JDK

rpm -ivh jdk-8u151-linux-x64.rpm

 

7.安装Scala

rpm -ivh scala-2.12.4.rpm

 

8.部署Spark

81 下载spark-2.2.0-bin-hadoop2.7.tgz

8.2tar zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /usr/local/注:子节点的路径必须和主节点一致

8.3cd /usr/local/spark-2.2.0-bin-hadoop2.7/

8.4cd conf

8.5mv slaves.template slaves

8.6vi slaves

在该文件中添加子节点所在的位置(Worker节点,文中的localhost删掉)

spark_master

spark_slave_1

spark_slave_2

8.7mv spark-env.sh.template spark-env.sh

8.8vi spark-env.sh

在该配置文件中添加如下配置:

export JAVA_HOME=/usr/java/jdk1.8.0_151

export SCALA_HOME=/usr/share/scala

export SPARK_CONF_DIR=/usr/local/spark-2.2.0-bin-hadoop2.7/conf

export SPARK_MASTER_HOST=10.211.55.6 ##非常关键

export SPARK_MASTER_PORT=7077

export SPARK_MASTER_WEBUI_PORT=8080

export SPARK_EXECUTOR_INSTANCES=1

export SPARK_WORKER_INSTANCES=1

export SPARK_WORKER_CORES=1

export SPARK_WORKER_MEMORY=1024M

8.9 将slaves、spark-env.sh拷到所有的子节点对应的文件夹下

8.10cd ../sbin

8.11 启动集群:./start-all.sh

8.12 查看启动日志的输出是否正常

8.13 验证:用浏览器打开http://10.211.55.6:8080查看是否有3个worker节点


打赏

已有1人打赏

最代码官方的gravatar头像

分享到:

最近浏览
8608140hao LV235月12日
太阳月亮星星星星星星
liuwen_7777 LV85月4日
月亮月亮
柏文JJ LV213月19日
太阳月亮星星
kylinc LV83月19日
月亮月亮
程序猿全敏 LV273月19日
太阳月亮月亮星星星星星星
terryang LV183月19日
太阳星星星星
锅盖侠520 LV93月15日
月亮月亮星星
ducomeOn LV33月14日
星星星星星星
charles1256 LV83月14日
月亮月亮
murphyLu LV83月13日
月亮月亮
顶部客服微信二维码底部
>扫描二维码关注最代码为好友扫描二维码关注最代码为好友