一、spark1.3.0编译方法可参考:Linux64位操作系统(CentOS6.6)上如何编译spark1.3。
二、安装软件
1.在官网下载scala2.10.5,解压设置好环境变量就可以用。
环境变量设置如下:
export SCALA_HOME=/usr/local/scala export PATH=$SCALA_HOME/bin:$PATH
2.将编译好的spark解压修改配置环境变量
export SPARK_HOME=/usr/local/spark-1.3.0-bin-hadoop2.4 export PATH=$SPARK_HOME/bin:$PATH
三、修改配置文件
1.修改conf目录下的spark-env.sh,添加环境变量
export JAVA_HOME=/home/spark/jdk1.7 export HADOOP_CONF_DIR=/home/hadoop/hadoop2.4.0/etc/hadoop export SPARK_HOME=/home/hadoop/spark-1.3.0-bin-2.4.0 export SPARK_JAR=$SPARK_HOME/lib/spark-assembly-1.3.0-hadoop2.4.0.jar export PATH=$SPARK_HOME/bin:$PATH export SPARK_MASTER_IP=test1 export SPARK_WORKER_CORES=1 export SPARK_WORKER_INSTANCES=1 export SPARK_MASTER_PORT=7077 export SPARK_WORKER_MEMORY=1g export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
2.修改conf目录下的slaves
test1 test2
3.将配置好的spark安装目录 scp 到另一台机器 test2的 /home/hadoop/目录下
4.在spark master的spark安装目录下执行 ./sbin/start-all.sh
5.访问http://test1的ip:8080 查看Spark是否启动成功.
相关推荐
Hadoop 2.4.0 分布式安装指导
Hadoop 2.4.0新特性总结,紧跟hadoop最新动态
spark1.5版本 早期版本的assembly 包,大家快快来下载吧
如何编译Apache Hadoop2.4.0源代码,详细说明.
Hadoop2.4.0 Eclipse插件
此插件是本人亲自编译好的可以让Eclipse上实现hadoop的mapreduce编程,目标集群运行了hadoop2.4.0,集群系统CENTOS6.5,jdk1.8.20,Eclipse运行在win7系统中
Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程
Hadoop2.4.0测试环境搭建 http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1-latest/bk_installing_manually_boo k/content/rpm-chap1-11.html [bigdata@namenode1 scripts]$ pwd /home/bigdata/software/...
hadoop2.4.0 本地库(64位),本人在64位机子上亲自编译源代码后得到的本地库,经测试完全可用
本手册主要整理了Hadoop2.2.0的安装,包括QJM实现HA的详细配置,以及Hdfs-site的配置详解。 不包括Hbase、Hive安装
Hadoop官方不提供64位编译版,在此提供编译结果分享给大家 ...hadoop-2.4.0-amd64.z01 hadoop-2.4.0-amd64.z02 hadoop-2.4.0-amd64.zip 2.解压获得文件包: hadoop-2.4.0-amd64.tar.gz 3.在服务器上部署使用
Hadoop官方不提供64位编译版,在此提供编译结果分享给大家 ...hadoop-2.4.0-amd64.z01 hadoop-2.4.0-amd64.z02 hadoop-2.4.0-amd64.zip 2.解压获得文件包: hadoop-2.4.0-amd64.tar.gz 3.在服务器上部署使用
Hadoop官方不提供64位编译版,在此提供编译结果分享给大家 ...hadoop-2.4.0-amd64.z01 hadoop-2.4.0-amd64.z02 hadoop-2.4.0-amd64.zip 2.解压获得文件包: hadoop-2.4.0-amd64.tar.gz 3.在服务器上部署使用
Hadoop-2.4.0分布式安装手册
基础的基于zookeeper的hadoop ha集群安装过程,有详细的中文解释。
spark-2.4.0-bin-hadoop2.7 ,下载超级慢,放在这里分享给大家.. 加压rar就可以
spark-1.3.0.tgz,基于linux的spark1.3.0亲测可用,大家放心
hadoop 2.4.1完全分布式安装,主要建立5个节点的hadoop集群安装,采用apache原生态的hadoop
(2)启动Spark分布式集群并查看信息 (3)网页端查看集群信息 (4)启动spark-shell控制台 1:local模式启动 2:登录master服务器,在集群模式下启动 (5)访问http://localhost:4040可以看到spark web界面 (6)从...
hadoop集群安装详细步骤,支持snappy hadoop 集群安装