spark的安装与配置

在学习大数据框架hadoop的过程中，Spark的配置是必须的，但是在linux系蕙蝤叼翕统中对Spark的配置过程中会遇到很多配置错误的问题，这里我将自己在Ubuntu19.10下配置Spark的过程分享一下。供大家作为参考。

工具/原料

linux系统

Ubuntu版本：19.10

Spark版本：2.3.3

hadoop版本：3.0.2

下载spark

1、百度搜索Spark，找到【Downloads | ApacheSpark】点击进入Spark官方下载页面

2、点击选择你的hadoop版本所对应的Spark版本，（这里我下载的版本是spark-2.3.3-bin-hadoop2.7.tgz）点击椭圆圈中的信息

3、这里点击第一个，选择要安装的目录

4、将下载好的spark压缩包通过U盘传到Ubuntu系统下（因为我将一台电脑装成了Ubuntu系统，没有用到虚拟机，所以我用的U盘来传文件）

5、将下载 spark-2.3.3-bin-hadoop2.7.tgz 文件文件移到/opt目录下并解压

6、重命名文件（这里我命名的文件名是spark）

7、编辑/etc/profile文件，添加环境变量（不要忘了source）

Spark单机配置

1、编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第一行添加以下配置信息:

2、验证Spark安装和配置，通过运行Spark自带的示例，验证Spark是否安装成功

3、运行结果如下图所示，可以得到π 的 14位小数近似值

4、在主机的浏览器输如【localhost:8079】(单机模式)就可以看到有两个节点在spark集群上