一般增加自增列可以考虑row_number() over(partition by XX order by XX) as rank
但是需要给hive表全局加上自增列,并且没有字段可供排序时,partition by和order by后无表字段可用。
这种情况只能考虑用row_number() over(order by 1),即每一行记录多出个1,然后对1进行排序,取排序号作为自增id列,但是这样结果会出现一个问题:
记录结果会被打乱,因为无论spark还是mr本质是分布式进行的,运行多个task,每个task读取数据表一部分的数据,进行order by1处理,最后再来一次归并排序,因为排序字段都是1,所以结果会按照多个task的结果进行union,由于task是shuffle后随机出来的,所以union的最终结果,其记录与原始记录的顺序肯定不一致。
要解决这个问题,需要让spark只开启一个task去处理读取的所有表数据,即重分区为1,然后再去用row_number() over(order by 1) as rank去获取自增列。
select row_number() over(order by 1) as id, tmp.sub_task_id, tmp.root_idfrom (select * from table where event_day = '20220223') tmp;
这里,中间存储的是重分区算子coalesce(1);这种方式能设置的算子有限,一般就是sql中用于设置重分区。