当前位置：网站首页>伪分布安装spark

伪分布安装spark

2022-04-23 16:32:00 【sparename】

spark安装（伪分布安装）

上传文件

用xtfp上传文件至/root/softwares

配置文件

cd /root/softwares
#解压
tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /usr/local/
cd /usr/local/
#重命名
mv spark-2.4.0-bin-hadoop2.7/ spark-2.4.0
cd spark-2.4.0/conf/
#配置spark-env.sh文件
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
<!--主节点IP-->
export SPARK_MASTER_HOST=192.168.239.239

<!--任务提交端口-->
export SPARK_MASTER_PORT=7077 

<!--每个worker使用2核,视自己的虚拟机创建的时候内核而定-->
export SPARK_WORKER_CORES=2

<!--每个worker使用3g内存,视自己的虚拟机创建的时候内存而定-->
export SPARK_WORKER_MEMORY=1g 

<!--修改spark监视窗口的端口默认8080-->
export SPARK_MASTER_WEBUI_PORT=8888
#配置slaves文件
cp slaves.template slaves
vi slaves
#默认slaves现在就主机一台
#由于配的是单机，不是集群，所以不用Slaves(配置worker从机节点)，就是localhost，不用改设置
#到spark-config.sh配置jdk环境变量
cd /usr/local/spark-2.4.0/sbin/
vim spark-config.sh 
export JAVA_HOME=/usr/local/jdk1.8.0_171

启动spark

到主节点spark的sbin下运行

./start-all.sh
#查看进程
jps
#shell操作
cd /usr/local/spark-2.4.0/bin/
./spark-shell
#访问，验证是否成功
http://192.168.239.239:4040/executors/
http://192.168.239.239:8080/

版权声明
本文为[sparename]所创，转载请带上原文链接，感谢
https://blog.csdn.net/weixin_51830687/article/details/124309052

边栏推荐

猜你喜欢

随机推荐