ETL之StreamSet软件安装

1、这里以Centos7.5为例进行安装。

2、导航至https://streamsets.com/opensource，按图示选择下载。

7、StreamSet有可视化流程编辑界面，并且包括50种数据源、44种数据涠础险渥操作、46种目的地。对于Streamsets来说，最重要的概念就是数据源(Origi荏鱿胫协ns)、操作(Processors)、目的地(Destinations)。创建一个Pipelines管道配置也基本是这三个方面。StreamSet支持的源有Kafka、HTTP、UDP、JDBC、HDFS等；Processors可以实现对每个字段的过滤、更改、编码、聚合等操作；Destinations跟Origins差不多，可以写入Kafka、Flume、JDBC、HDFS、Redis等。甚至可以直接建立HTTP微服务Api，以供第三方调用，强大的功能吸引我们继续去探索。