欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

StreamSets实战之路-6-基础篇

时间:2023-05-11

主要介绍StreamSets-origin类组件有哪些、分类、主要用途以及使用方法。

Origin****类组件主要包含以下:

Amazon S3

Amazon SQS Consumer

Azure Data Lake Storage Gen1

Azure Data Lake Storage Gen2

Azure IoT/Event Hub Consumer

CoAP Server

Cron Scheduler // 任务调度组件,用于调度数据流

Directory // 文件目录组件,用于从文件目录下读取数据

Elasticsearch // ES源组件,用于从ES中读取数据

File Tail // 文件源插件,用于从文件尾源将读取数据行

Google BigQuery

Google Cloud Storage

Google Pub/Sub Subscriber

Groovy scripting // Groovy脚本组件,自定义groovy脚本,功能强大

gRPC Client // Google RPC客户端组件,用于从gRPC服务器获取数据

Hadoop FS // hadoop 文件系统组件,用于从HDFS中读取数据,可用集群模式下读取数据

Hadoop FS Standalone // hadoop 文件系统组件,用于从HDFS中读取数据

HTTP Client // Http客户端组件,用于从Http服务器获取数据

HTTP Server // Http服务器组件,用于接收HTTP客户端的数据

Javascript scripting // Javascript脚本组件,自定义Javascript脚本,功能强大

JDBC Multitable Consumer // JDBC多线程数据源组件,用于以JDBC方式读取数据,适用于可通过JDBC方式连接的数据库(例如:mysql、oracle等),该组件可用于多线程模式

JDBC Query Consumer // JDBC数据源组件,用于以JDBC方式读取数据,适用于可通过JDBC方式连接的数据库(例如:mysql、oracle等)

JMS Consumer // JMS数据源组件,用于从JMS服务中消费数据

Jython scripting // Jython脚本组件,自定义Jython脚本,功能强大

Kafka Consumer // Kafka数据源组件,用于从Kafka中消费数据

Kafka Multitopic Consumer // // Kafka多Topic数据源组件,用于从Kafka中消费数据,可用于指定多个topic进行消费,多线程消费

Kinesis Consumer // Kinesis数据源组件,用于从Kinesis中消费数据

MapR DB CDC

MapR DB JSON

MapR FS

MapR FS Standalone

MapR Multitopic Streams Consumer

MapR Streams Consumer

MongoDB // MongoDB数据源组件,用于从MongoDB中读取数据

MongoDB Oplog // MongoDB Oplog数据源组件,用于从MongoDB Oplog中读取数据

MQTT Subscriber // MQTT数据源组件,用于从MQTT中消费数据

MySQL Binary Log // MySQL Binary Log数据源组件,用于从MySQL Binary Log中读取数据

NiFi HTTP Server // NiFi HTTP 服务数据源组件,用于接收NiFi HTTP Client 发送的数据

Omniture

OPC UA Client

Oracle Bulkload // Oracle 批量加载插件,用于从多个Oracle表读取所有可用数据,可用于多线程

Oracle CDC Client

PostgreSQL CDC Client

Pulsar Consumer // Pulsar数据源组件,用于从Pulsar中消费数据

RabbitMQ Consumer //RabbitMQ数据源组件,用于从RabbitMQ中消费数据

Redis Consumer // Redis数据源组件,用于从Redis中读取数据

REST Service // REST 服务组件,用于微服务工作流设置,接收HTTP 请求

Salesforce

SDC RPC

SFTP/FTP/FTPS Client // FTP 客户端组件,用于从FTP服务中获取数据

SQL Server 2019 BDC Multitable Consumer

SQL Server CDC Client

SQL Server Change Tracking

Start Pipeline // 数据流启动组件,用于启动数据流

System Metrics // 系统指标源组件,用于从linux系统上获取CPU、内存等指标信息

TCP Server // TCP 服务组件,用于接收TCP Client发送的数据

Teradata Consumer

UDP Multithreaded Source //UDP多线程服务组件,用于接收UDP Client发送的数据

UDP Source // UDP 服务组件,用于接收UDP Client发送的数据

WebSocket Client // WebSocket客户端组件,用于从WebSocket服务获取数据

WebSocket Server // WebSocket服务组件,用于接收WebSocket Client发送的数据

Windows Event Log // Windows 事件日志组件,用于从Windows系统中获取事件日志,该组件尽可用于Edge数据流

使用方法:

注意:origin组件一个工作流只能存在一个origin组件。

Streamsets实战之路正在更新中,尽情期待!!!

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。