前言
前段时间小编分享过GIS矢量数据压缩技术-GeoBuf,并对源码做了相关完善,后面一直想将该技术应用在实际的工程中。于是在2021年年末有了新的想法,刚好想做一个Hbase数据管理的工具箱,涉及到shp、gdb等数据存到Hbase数据库中以及Hbase数据写出至shp或gdb中,其中有数据传输过程,便将geobuf技术融合到工具中。
背景
Hbase作为一个高可靠,高性能,面向列,可伸缩的分布式存储系统,是最近几年的主流分布式存储系统,很多大数据厂商都支持Hbase数据读写。ArcGIS作为全球地理信息软件的领头羊,暂时不支持Hbase数据读写。同时没有更方便的软件将Hbase数据转换为GDB数据或ShapeFile数据。基于此,研发了Hbase数据管理工具箱。
技术及特色
整个技术流程如下图所示:
工具特色:
1) 数据传输采用GeoBuf。在Python和Java间进行数据传输时相互进行解码和编码,降低数据传输间内存损耗。
2) Hbase只支持WGS84坐标数据,在将Hbase数据转换为本地要素图层时工具支持选择输出坐标系;
3) Hbase图层转要素图层时支持抽样,方便对大数据量数据进行查看;
4) 自动下载所需依赖。
演示
ArcGIS Pro Hbase数据管理工具箱视频https://v.qq.com/txp/iframe/player.html?vid=y3323k8rd5y
下载及使用
公众号后台回复
Hbase工具箱
获取下载地址
工具设置了授权,通过电脑Mac地址生成授权码并进行许可验证。为了让各位小伙伴体验体验,小编设置了许可有效时间为三个月,到5月6号截至。
公众号后台回复
mac:Pro机器Mac地址
获取工具授权码
授权码只需要在首次运行时需要填写,后面无需填写,会自动隐藏参数栏。授权码在填写后会自动验证。
注意:首次运行工具时会下载相关库,打开工具时可能稍微慢,同时建议先使用数据转换工具再使用数据删除工具,当中会远程下载Jar包,依赖安装完成后建议重启Pro。
关于bug
小编专门开发了记录bug相关接口,希望各位老铁使用并给予建议及意见。
公众号后台发送
bug:您的建议及意见
公众号:一只步行的菜鸟