欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

pyspark给hive表增加自增列

时间:2023-04-20

一般增加自增列可以考虑row_number() over(partition by XX order by XX) as rank

但是需要给hive表全局加上自增列,并且没有字段可供排序时,partition by和order by后无表字段可用。

这种情况只能考虑用row_number() over(order by 1),即每一行记录多出个1,然后对1进行排序,取排序号作为自增id列,但是这样结果会出现一个问题:

记录结果会被打乱,因为无论spark还是mr本质是分布式进行的,运行多个task,每个task读取数据表一部分的数据,进行order by1处理,最后再来一次归并排序,因为排序字段都是1,所以结果会按照多个task的结果进行union,由于task是shuffle后随机出来的,所以union的最终结果,其记录与原始记录的顺序肯定不一致。

要解决这个问题,需要让spark只开启一个task去处理读取的所有表数据,即重分区为1,然后再去用row_number() over(order by 1) as rank去获取自增列。

select row_number() over(order by 1) as id, tmp.sub_task_id, tmp.root_idfrom (select * from table where event_day = '20220223') tmp;

这里,中间存储的是重分区算子coalesce(1);这种方式能设置的算子有限,一般就是sql中用于设置重分区。

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。