欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

DataHub:现代数据栈的元数据平台--如何将自定义的元数据事件发送到DataHub

时间:2023-07-29

在某些情况下,业务上需要程序直接构造自定义的元数据事件【metadataEvent】,然后将该元数据发送到DataHub。

DataHub分别针对python和java提供了emitter 库,如下:

Python emitter libraries Java emitter libraries

本文基于上面的2个库,讲解如何构造元数据事件,然后将其发送到DataHub

Python emitter

基于Python的元数据摄取系统【acryl-datahub】提供了 REST 和 Kafka emitter API,很容易进行代码集成。
REST Emitter:基于requests 模块进行了一层薄包装,提供了一个通过HTTP发送元数据事件的阻塞接口,主要用于如下2种场景:

当将元数据持久化到DataHub的元数据存储的简单性和确认比元数据发送的吞吐量更重要时,请使用此方法 当存在write -after-write场景时使用此方法,例如写元数据然后立即将其读回来。

Kafka Emitter:基于confluent-kafka的SerializingProducer类之上的一个薄包装,提供了一个非阻塞接口,用于向DataHub发送元数据事件,主要用于如下场景:

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。