spark集群环境搭建

1.安装jdk

安装环境：CentOS-7.0.1708 安装方式：源码安装 软件：jdk-6u45-linux-x64.bin 下载地址：http://www.Oracle.com/technetwork/Java/javase/downloads/java-archive-downloads-javase6-419409.html

第一步：更该权限

chmod 775 jdk-6u45-linux-x64.bin

第二步：执行jdk安装

./jdk-6u45-linux-x64.bin

第三步：配置环境变量

环境变量的配置分为几种方式,根据自己的选择配置:

方式一:vi /etc/profile文件中配置JAVA_HOME以及PATH和CLASS_PATH

因为这样的设置将对所有用户的shell都生效，对系统安全会产生影响。

就是在这个文件的最后加上:

export JAVA_HOME=/usr/local/softWare/jdk1.6.0_45

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export PATH=$PATH:$JAVA_HOME/bin 

执行 source /etc/profile 是配置立即生效 

方式二:

修改.bashrc文件来配置环境变量:

#vi .bashrc

export JAVA_HOME=/usr/local/softWare/java/jdk1.6.0_45

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

export PATH=$PATH:$JAVA_HOME/bin 

配置完成之后,使用logout命令退出,然后重新登入使其生效.

验证一下是否安装成功,使用java -version查看一下。

2.安装scala 下载路径： https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz scala-2.12.8.tgz 把下载包上传解压 tar -zxvf scala-2.12.8.tgz rm -rf scala-2.12.8.tgz 配置环境变量 vi /etc/profile export SCALA_HOME=/usr/local/scala-2.12.8 export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin 复制到其他节点： scp -r scala-2.12.8 192.168.0.109:/usr/local/ scp -r scala-2.12.8 192.168.0.110:/usr/local/ scp /etc/profile 192.168.0.109:/etc/ scp /etc/profile 192.168.0.110:/etc/ 使环境变量生效：source /etc/profile 验证：scala -version

3.ssh 免密码登录 参考https://blog.51cto.com/13001751/2487972

4.安装Hadoop 参考https://blog.51cto.com/13001751/2487972

5.安装spark 把下载包上传解压 cd /usr/local/ tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz cd /usr/local/spark-2.4.5-bin-hadoop2.7/conf/ #进入spark配置目录 mv spark-env.sh.template spark-env.sh #从配置模板复制 vi spark-env.sh #添加配置内容 export SPARK_HOME=/usr/local/spark-2.4.5-bin-hadoop2.7 export SCALA_HOME=/usr/local/scala-2.12.8 export JAVA_HOME=/usr/local/jdk1.8.0_191 export HADOOP_HOME=/usr/local/hadoop-2.7.7 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_MASTER_IP=spark1 SPARK_LOCAL_DIRS=/usr/local/spark-2.4.5-bin-hadoop2.7 SPARK_DRIVER_MEMORY=1G export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native、 vi slaves spark2 spark3 scp -r /usr/local/spark-2.4.5-bin-hadoop2.7 [email protected]:/usr/local/ scp -r /usr/local/spark-2.4.5-bin-hadoop2.7 [email protected]:/usr/local/ ./sbin/start-all.sh(不可直接start-all.sh，这个命令是hadoop的)