Spark的环境搭建（Linux/Ubuntu64）

1、一、Spark相关依赖软件的下载（Spark 2.4.5、Scala 2.12、Java 8）更多版本介绍: http://spark.apache.org/docs/latest/

3、在“Choose a Spark release”下拉框可以选择最近的其他版本，在“Choose a package type”下拉框可以选择集成Hadoop，之后单击“Download Spark”后面的链接进入下载页面

5、1.2、下载Scala官网下载: https://www.scala-lang.org/download/找到‘previous releases’可以选择其他版本

7、下载java 8进入JDK下载页面，下载Linux 64版本的文件下载，选择压缩包类型tar.gz

8、二、Spark环境的配置 （安装SSH、SSH免密码登录、修改访问权限、修改profile文件、修改Spark配置文件）

9、2.1、安装SSH，配置免密码登录参考我之前分享的经验：https://jingyan.baidu.com/article/8275fc86d5014607a03cf6b7.html

10、2.2、修改访问权限把上面下载的文件上传到Ubuntu使用解压tar命令tar -zxvf jdk1.8***tar -zxvf spark-2.4.5-***tar -zxvf Scala-2.***按照自己下载的版本，自行补全，或者用“tab”键补全

11、这里我把这些软件都放在/opt目录中sudo cp - R jdk1.8**** /optsudo cp - Rspark-2.4.5-*** /optsudo cp - RScala-2.*** /opt

12、修改/opt文件夹权限sudo chmod - R 777 /opt

18、(修改spark-env设置主节点和从节点的配置)export JAVA_HOME = /opt/jdk1.8.** #添加java位置export SCALA_HOME = /opt/Scala-2.12.*** #Scala位置export SPARK_MASTER_IP = SparkMaster #主节点地址exportSPARK_WORKER_MEMORY = 4g #节点内存大小exportSPARK_WORKER_CORES = 2 #核数exportSPARK_WORKER_INSTANCES = 1 #节点实例数

19、（修改slaves设置从节点地址）添加节点主机名称，默认为localhost看自己具体情况