Pekey‘s Blog

Spark环境搭建

2018/04/17 Share

配置过程

进入 Spark 安装目录下的 conf 目录， 拷贝 spark-env.sh.template 到 spark-env.sh。

1
cp spark-env.sh.template spark-env.sh

编辑 spark-env.sh，在其中添加以下配置信息：

1
2
3
4
5
export SCALA_HOME=/opt/scala-2.11.8
export JAVA_HOME=/opt/java/jdk1.7.0_80
export SPARK_MASTER_IP=192.168.109.137
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/opt/hadoop-2.6.4/etc/hadoop

将 slaves.template 拷贝到 slaves， 编辑其内容为：

1
2
3
master
slave01
slave02

即 master 既是 Master 节点又是 Worker 节点。

启动过程

  1. 运行 start-master.sh，启动Master节点，可以看到master上多了一个新进程Master。
  2. 运行 start-slaves.sh，启动所有Worker节点，在 master、slave01和slave02上使用jps命令，可以发现都启动了一个Worker进程
  3. 访问 http://master:8080 浏览器查看Spark集群信息。
  4. 运行 spark-shell，可以进入Spark的shell控制台
  5. 访问 http://master:4040 浏览器访问SparkUI， 可以从SparkUI上查看一些 如环境变量、Job、Executor等信息。

测试

计算 π 的近似值

1
$SPARK_HOME/bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

CATALOG
  1. 1. 配置过程
  2. 2. 启动过程
  3. 3. 测试
Total : 19
2018
kylin spagobi linux