欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

DataHub:现代数据栈的元数据平台--如何基于acryl-datahub摄取元数据

时间:2023-07-23
什么是acryl-datahub?

acryl-datahub是基于python开发的、可扩展的元数据系统

支持使用Kafka或通过REST API向DataHub发送数据 支持通过CLI工具使用 支持通过任务调度系统如Airflow使用 可以作为一个库使用,方便集成到项目代码中 如何安装acryl-datahub 安装acryl-datahub

最新版本是:0.8.24.1,可通过命令pip install acryl-datahub进行安装

注意:前提是 Python 3.6+

python3 -m pip install --upgrade pip wheel setuptoolspython3 -m pip install --upgrade acryl-datahubdatahub version

安装摄取插件

acryl-datahub使用插件架构,目前支持的Source插件 34个、Sink插件4个。可以根据实际业务需要,只安装真正需要的依赖项。

常用的摄取插件如下表所示

Plugin Name

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。