ETL之StreamSet软件安装

1、这里以Centos7.5为例进行安装。

2、导航至 https://streamsets.com/opensource ，按图示选择下载。

3、这个大家伙足足有5Gb，因此准备好足够的空间和耐心。下载完成后，在该文件所在目录下执行如下命令：

tar xf streamsets-datacollector-<version>-<operating_system>-all-rpms.tar

4、解压好后，进入解压的目录内执行

yum localinstall streamsets*.rpm 

systemctl start sdc

5、为了能在外部访问，检查下Centos的防火墙策略，允许需要的端口出去，这里简单粗暴的关闭防火墙：

systemctl stop firewalld.service

6、通过地址访问：

http://localhost:18630/ 

默认账号和密码均为admin

7、StreamSet有可视化流程编辑界面，并且包括50种数据源、44种数据操作、46种目的地。

对于Streamsets来说，最重要的概念就是数据源(Origins)、操作(Processors)、目的地(Destinations)。创建一个Pipelines管道配置也基本是这三个方面。

StreamSet支持的源有Kafka、HTTP、UDP、JDBC、HDFS等；Processors可以实现对每个字段的过滤、更改、编码、聚合等操作；Destinations跟Origins差不多，可以写入Kafka、Flume、JDBC、HDFS、Redis等。

甚至可以直接建立HTTP微服务Api，以供第三方调用，强大的功能吸引我们继续去探索。