acryl-datahub是基于python开发的、可扩展的元数据系统
支持使用Kafka或通过REST API向DataHub发送数据 支持通过CLI工具使用 支持通过任务调度系统如Airflow使用 可以作为一个库使用,方便集成到项目代码中 如何安装acryl-datahub 安装acryl-datahub
最新版本是:0.8.24.1,可通过命令pip install acryl-datahub进行安装
注意:前提是 Python 3.6+
python3 -m pip install --upgrade pip wheel setuptoolspython3 -m pip install --upgrade acryl-datahubdatahub version
安装摄取插件acryl-datahub使用插件架构,目前支持的Source插件 34个、Sink插件4个。可以根据实际业务需要,只安装真正需要的依赖项。
常用的摄取插件如下表所示