当前位置:首页 > 编程笔记 > 正文
已解决

SQL之LIMIT子句踩坑记录

来自网友在路上 164864提问 提问时间:2023-10-07 19:09:32阅读次数: 64

最佳答案 问答题库648位专家为你答疑解惑

部分场景下,我们可能希望从一个大表 unparsed 中抽取前100行并对这些行应用UDF,一种容易想到的SQL语句如下:

@pyspark
insert into table parsed
select url, parse_func(content) as parsed_content from unparsed
limit 100;

但这个语句实际上会对 unparsed 中的所有行先应用UDF然后再抽取前100行,不符合我们的期望,为此可以作出如下修改

@pyspark
insert into table parsed
select url, parse_func(content) as parsed_content
from (select url, content from unparsedlimit 100
);

注意,以下这种语句是无效的,速度并不会有任何改变:

@pyspark
insert into table parsed
(select url, parse_func(content) as parsed_content from unparsed limit 100);
查看全文

99%的人还看了

猜你感兴趣

版权申明

本文"SQL之LIMIT子句踩坑记录":http://eshow365.cn/6-16906-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!