Spark 2.0集群部署

Spark 2.0集群部署

安装环境

  1. Scala环境配置
  2. Hadoop 2.7 集群搭建.

安装配置Scala

  1. 解压文件夹

  2. 设置环境变量

安装配置Spark

  1. 解压文件并修改文件属性
tar -zxvf /usr/local/spark-2.0.0-bin-hadoop2.7.tgz
cd /usr/local/spark-2.0.0-bin-hadoop2.7
chown -R hadoop:hadoop ${sparkFolder}
chmod -R g=rwx ${sparkFolder}
  1. 配置环境变量
echo  export SPARK_HOME=/home/hadoop/spark2.0 >> /etc/profile
source /etc/profile
  1. 集群配置参数

/home/hadoop/spark2.0/conf/slaves

node1
node2
node3

/home/hadoop/spark2.0/conf/Spark-env.sh

#!/usr/bin/env bash

export SCALA_HOME=/usr/lib/scala-2.11.8
  1. 启动集群
1. 启动hadoop 集群
$HADOOP_HOME/sbin/start-all.sh

2. 启动spark集群
$SPARK_HOME/sbin/start-all.sh

3. 验证集群状态
192.168.5.130:8080  #spark  --远程查看spark服务状态
192.168.5.130:50070 #hdfs   --远程查看Hadoop服务状态
  1. 测试Spark集群

运行测试例子

计算Pi的值 : 

MASTER=spark://192.168.5.130:7077 ./bin/run-example SparkPi

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*