欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

一文详解Hive的谓词下推

时间:2023-04-16

谓词,是指用来描述或判断客体性质、特征或客体之间关系的词项。在SQL中即返回值为布尔值的函数。

谓词下推,在Hive中叫Predicate Pushdown,含义是指在不影响结果的前提下,尽量将过滤条件提前执行,使得最后参与join的表的数据量更小。谓词下推后,过滤条件将在map端提前执行,减少map端输出,降低了数据传输IO,节约资源,提升性能。大数据培训在Hive中通过配置hive.optimize.ppd参数为true,开启谓词下推,默认为开启状态。

一、表的分类

首先定义一下参与join的表的类型,共分4类。

1、Preserved Row table:保留表

a left (outer) join b 中的 a 表;

a right (outer) join b 中的 b 表;

a full outer join b a 和 b 表都是 保留表。

2、Null Supplying table:提供null值的表,也就是 非保留表,在join中如果不能匹配上的使用null填充的表。

a left (outer) join b 中的 b 表;

a right (outer) join b 中的 a 表,

a full outer join b a 和 b 表都是 null值保留表

3、During Join predicate:join中谓词,就是on后面的条件。

R1 join R2 on R1.x = 5 --> R1.x = 5就是join中谓词

4、After Join predicate:join后谓词,就是where后面的条件。

a left join b where a.t=1 --> a.t=1 就是join后谓词

二、Left outer Join & Right outer Join

!!!测试时,关闭 cbo 优化:set hive.cbo.enable=false

案例一:过滤条件写在 where, 且是 保留表的字段

explain

select o.id from bigtable b

left join bigtable o

where b.id <= 10;

--> 可以谓词下推(能在 map 阶段提前过滤)

案例二:过滤条件写在 where, 且是 非保留表的字段

explain

select b.id,o.id from bigtable b

left join bigtable o

where o.id <= 10;

--> 不可以谓词下推(能在 map 阶段提前过滤)

案例三:过滤条件写在 on, 且是 保留表的字段

explain

select o.id from bigtable b

left join bigtable o

on b.id <= 10;

--> 不可以谓词下推(不能在 map 阶段提前过滤)

案例四:过滤条件写在 on, 且是 非保留表的字段

explain

select o.id from bigtable b

left join bigtable o

on o.id <= 10;

--> 可以谓词下推(能在 map 阶段提前过滤)

=============总结=============

在关闭cbo的情况下:

!!!注意:

1、对于 Left outer Join ,右侧的表写在 on后面、左侧的表写在 where后面,性能上有提高;

2、对于 Right outer Join,左侧的表写在 on后面、右侧的表写在 where后面,性能上有提高;

三、Full outer Join

案例一:过滤条件写在 where, 且是 保留表的字段

explain

select o.id from bigtable b

full join bigtable o

where b.id <= 10;

--> 可以谓词下推(能在 map 阶段提前过滤)

案例二:过滤条件写在 where, 且是 非保留表的字段

explain

select b.id,o.id from bigtable b

full join bigtable o

where o.id <= 10;

--> 可以谓词下推(能在 map 阶段提前过滤)

案例三:过滤条件写在 on, 且是 保留表的字段

explain

select o.id from bigtable b

full join bigtable o

on b.id <= 10;

--> 不可以谓词下推(不能在 map 阶段提前过滤)

案例四:过滤条件写在 on, 且是 非保留表的字段

explain

select o.id from bigtable b

full join bigtable o

on o.id <= 10;

--> 不可以谓词下推(不能在 map 阶段提前过滤)

=============总结=============

1、如果不开启 cbo,写在 on后面,还是 where后面,都不会谓词下推

2、如果开启了 cbo,写在 where 可以 谓词下推, 写在 on 不可以 谓词下推

四、Inner Join

案例一:过滤条件写在 where, 且是 保留表的字段

explain

select o.id from bigtable b

join bigtable o

where b.id <= 10;

--> 可以谓词下推(能在 map 阶段提前过滤)

案例二:过滤条件写在 where, 且是 非保留表的字段

explain

select b.id,o.id from bigtable b

join bigtable o

where o.id <= 10;

--> 可以谓词下推(能在 map 阶段提前过滤)

案例三:过滤条件写在 on, 且是 保留表的字段

explain

select o.id from bigtable b

join bigtable o

on b.id <= 10;

--> 可以谓词下推(能在 map 阶段提前过滤)

案例四:过滤条件写在 on, 且是 非保留表的字段

explain

select o.id from bigtable b

join bigtable o

on o.id <= 10;

--> 可以谓词下推(能在 map 阶段提前过滤)

=============总结=============

Inner Join 不管有没有开启cbo,不管写在 on后面 还是 where后面,都会进行谓词下推。

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。