主要介绍StreamSets-origin类组件有哪些、分类、主要用途以及使用方法。
Origin****类组件主要包含以下:
Amazon S3
Amazon SQS Consumer
Azure Data Lake Storage Gen1
Azure Data Lake Storage Gen2
Azure IoT/Event Hub Consumer
CoAP Server
Cron Scheduler // 任务调度组件,用于调度数据流
Directory // 文件目录组件,用于从文件目录下读取数据
Elasticsearch // ES源组件,用于从ES中读取数据
File Tail // 文件源插件,用于从文件尾源将读取数据行
Google BigQuery
Google Cloud Storage
Google Pub/Sub Subscriber
Groovy scripting // Groovy脚本组件,自定义groovy脚本,功能强大
gRPC Client // Google RPC客户端组件,用于从gRPC服务器获取数据
Hadoop FS // hadoop 文件系统组件,用于从HDFS中读取数据,可用集群模式下读取数据
Hadoop FS Standalone // hadoop 文件系统组件,用于从HDFS中读取数据
HTTP Client // Http客户端组件,用于从Http服务器获取数据
HTTP Server // Http服务器组件,用于接收HTTP客户端的数据
Javascript scripting // Javascript脚本组件,自定义Javascript脚本,功能强大
JDBC Multitable Consumer // JDBC多线程数据源组件,用于以JDBC方式读取数据,适用于可通过JDBC方式连接的数据库(例如:mysql、oracle等),该组件可用于多线程模式
JDBC Query Consumer // JDBC数据源组件,用于以JDBC方式读取数据,适用于可通过JDBC方式连接的数据库(例如:mysql、oracle等)
JMS Consumer // JMS数据源组件,用于从JMS服务中消费数据
Jython scripting // Jython脚本组件,自定义Jython脚本,功能强大
Kafka Consumer // Kafka数据源组件,用于从Kafka中消费数据
Kafka Multitopic Consumer // // Kafka多Topic数据源组件,用于从Kafka中消费数据,可用于指定多个topic进行消费,多线程消费
Kinesis Consumer // Kinesis数据源组件,用于从Kinesis中消费数据
MapR DB CDC
MapR DB JSON
MapR FS
MapR FS Standalone
MapR Multitopic Streams Consumer
MapR Streams Consumer
MongoDB // MongoDB数据源组件,用于从MongoDB中读取数据
MongoDB Oplog // MongoDB Oplog数据源组件,用于从MongoDB Oplog中读取数据
MQTT Subscriber // MQTT数据源组件,用于从MQTT中消费数据
MySQL Binary Log // MySQL Binary Log数据源组件,用于从MySQL Binary Log中读取数据
NiFi HTTP Server // NiFi HTTP 服务数据源组件,用于接收NiFi HTTP Client 发送的数据
Omniture
OPC UA Client
Oracle Bulkload // Oracle 批量加载插件,用于从多个Oracle表读取所有可用数据,可用于多线程
Oracle CDC Client
PostgreSQL CDC Client
Pulsar Consumer // Pulsar数据源组件,用于从Pulsar中消费数据
RabbitMQ Consumer //RabbitMQ数据源组件,用于从RabbitMQ中消费数据
Redis Consumer // Redis数据源组件,用于从Redis中读取数据
REST Service // REST 服务组件,用于微服务工作流设置,接收HTTP 请求
Salesforce
SDC RPC
SFTP/FTP/FTPS Client // FTP 客户端组件,用于从FTP服务中获取数据
SQL Server 2019 BDC Multitable Consumer
SQL Server CDC Client
SQL Server Change Tracking
Start Pipeline // 数据流启动组件,用于启动数据流
System Metrics // 系统指标源组件,用于从linux系统上获取CPU、内存等指标信息
TCP Server // TCP 服务组件,用于接收TCP Client发送的数据
Teradata Consumer
UDP Multithreaded Source //UDP多线程服务组件,用于接收UDP Client发送的数据
UDP Source // UDP 服务组件,用于接收UDP Client发送的数据
WebSocket Client // WebSocket客户端组件,用于从WebSocket服务获取数据
WebSocket Server // WebSocket服务组件,用于接收WebSocket Client发送的数据
Windows Event Log // Windows 事件日志组件,用于从Windows系统中获取事件日志,该组件尽可用于Edge数据流
使用方法:
注意:origin组件一个工作流只能存在一个origin组件。
Streamsets实战之路正在更新中,尽情期待!!!