当前位置:首页 > 编程笔记 > 正文
已解决

五分钟搞懂python生成器迭代器

来自网友在路上 142842提问 提问时间:2023-09-19 19:56:31阅读次数: 42

最佳答案 问答题库428位专家为你答疑解惑

1、是什么

生成器和迭代器都是Python语言中的重要概念。

1.1 生成器

是什么?
生成器是一种特殊的函数,它可以逐步产生结果并在每个步骤中保持状态

如何理解?
生成器用yield返回一个值,在每个yield语句的位置上都会暂停执行,并将当前状态保存下来。当再次调用生成器时,它会从上次暂停的位置继续执行,并且能够恢复到之前的状态。这种方式使得生成器能够记住之前的计算结果,而不需要重新计算。这样生成器就可以在每个步骤中保持状态,以便下次继续使用。

有什么作用?
由于生成器在内存中只保留了当前状态以及生成下一个值所需的信息,因此它可以处理非常大的数据流,并且比传统的数据容器占用更少的内存。 通过调用next()方法或者使用for循环逐个获取生成器中的值,可以逐步获取生成器中的数据。

1.2 迭代器

迭代器是一种实现了特定方法(iter()和__next__())的对象。通过迭代器,我们可以逐步获取集合中的元素

2、案例

这里我们通过一个面试题带大家去深入理解

4G 内存怎么读取一个 5G 的数据?

答:通过生成器,分多次读取,每次读取数量相对少的数据(比如 500MB)进行处理,处理结束后
在读取后面的 500MB 的数据。

# 定义一个生成器函数,在python中只要函数中使用yield字段就是一个生成器函数。生成器函数 用于创建 生成器迭代器 (generator iterator)。
def process_data(file_path, batch_size):with open(file_path, 'rb') as file:while True:data = file.read(batch_size)if not data:break# 在此处进行对数据的处理# 可以将处理后的结果返回,或者做其他操作yield data# 使用示例
file_path = 'your_file_path'  # 文件路径
batch_size = 500 * 1024 * 1024  # 500MB,注意单位为字节data_generator = process_data(file_path, batch_size)#迭代方法一
while True:try:batch = next(data_generator)# 对每个批次的数据进行处理# 可以调用相应的函数或方法进行处理print(f"Processing {len(batch)} bytes of data")# 这里只是简单示例,实际处理需要根据具体需求进行编写except StopIteration:break#迭代方法二
#for batch in data_generator:
#	print(f"Processing {len(batch)} bytes of data")
查看全文

99%的人还看了

猜你感兴趣

版权申明

本文"五分钟搞懂python生成器迭代器":http://eshow365.cn/6-9526-0.html 内容来自互联网,请自行判断内容的正确性。如有侵权请联系我们,立即删除!