技術(shù)背景
在python編碼中for循環(huán)處理任務(wù)時，會將所有的待遍歷參量加載到內(nèi)存中。其實這本沒有必要，因為這些參量很有可能是一次性使用的，甚至很多場景下這些參量是不需要同時存儲在內(nèi)存中的，這時候就會用到本文所介紹的迭代生成器yield。
基本使用
首先我們用一個例子來演示一下迭代生成器yield的基本使用方法，這個例子的作用是構(gòu)造一個函數(shù)用于生成一個平方數(shù)組。在普通的場景中我們一般會直接構(gòu)造一個空的列表，然后將每一個計算結(jié)果填充到列表中，最后return列表即可，對應(yīng)的是這里的函數(shù)square_number。而另外一個函數(shù)square_number_yield則是為了演示yield而構(gòu)造的函數(shù)，其使用語法跟return是一樣的，不同的是每次只會返回一個值：
# test_yield.py
def square_number(length):
s = []
for i in range(length):
s.append(i ** 2)
return s
def square_number_yield(length):
for i in range(length):
yield i ** 2
if __name__ == '__main__':
length = 10
sn1 = square_number(length)
sn2 = square_number_yield(length)
for i in range(length):
print (sn1[i], '\t', end='')
print (next(sn2))
在main函數(shù)中我們對比了兩種方法執(zhí)行的結(jié)果，打印在同一行上面，用end=''指令可以替代行末的換行符號，具體執(zhí)行的結(jié)果如下所示：
[dechin@dechin-manjaro yield]$ python3 test_yield.py
0 0
1 1
4 4
9 9
16 16
25 25
36 36
49 49
64 64
81 81
可以看到兩種方法打印出來的結(jié)果是一樣的。也許有些場景下就是需要持久化的存儲函數(shù)中返回的結(jié)果，這一點用yield也是可以實現(xiàn)的，可以參考如下示例：
# test_yield.py
def square_number(length):
s = []
for i in range(length):
s.append(i ** 2)
return s
def square_number_yield(length):
for i in range(length):
yield i ** 2
if __name__ == '__main__':
length = 10
sn1 = square_number(length)
sn2 = square_number_yield(length)
sn3 = list(square_number_yield(length))
for i in range(length):
print (sn1[i], '\t', end='')
print (next(sn2), '\t', end='')
print (sn3[i])
這里使用的方法是直接將yield生成的對象轉(zhuǎn)化成list格式，或者用sn3 = [i for i in square_number_yield(length)]這種寫法也是可以的，在性能上應(yīng)該差異不大。上述代碼的執(zhí)行結(jié)果如下：
[dechin@dechin-manjaro yield]$ python3 test_yield.py
0 0 0
1 1 1
4 4 4
9 9 9
16 16 16
25 25 25
36 36 36
49 49 49
64 64 64
81 81 81
進階測試
在前面的章節(jié)中我們提到，使用yield可以節(jié)省程序的內(nèi)存占用，這里我們來測試一個100000大小的隨機數(shù)組的平方和計算。如果使用正常的邏輯，那么寫出來的程序就是如下所示（關(guān)于python內(nèi)存占用的追蹤方法，可以參考這一篇博客）：
# square_sum.py
import tracemalloc
import time
import numpy as np
tracemalloc.start()
start_time = time.time()
ss_list = np.random.randn(100000)
s = 0
for ss in ss_list:
s += ss ** 2
end_time = time.time()
print ('Time cost is: {}s'.format(end_time - start_time))
snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')
for stat in top_stats[:5]:
print (stat)
這個程序一方面通過time來測試執(zhí)行的時間，另一方面利用tracemalloc追蹤程序的內(nèi)存變化。這里是先用np.random.randn()直接產(chǎn)生了100000個隨機數(shù)的數(shù)組用于計算，那么自然在計算的過程中需要存儲這些生成的隨機數(shù)，就會占用這么多的內(nèi)存空間。如果使用yield的方法，每次只產(chǎn)生一個用于計算的隨機數(shù)，并且按照上一個章節(jié)中的用法，這個迭代生成的隨機數(shù)也是可以轉(zhuǎn)化為一個完整的list的：
# yield_square_sum.py
import tracemalloc
import time
import numpy as np
tracemalloc.start()
start_time = time.time()
def ss_list(length):
for i in range(length):
yield np.random.random()
s = 0
ss = ss_list(100000)
for i in range(100000):
s += next(ss) ** 2
end_time = time.time()
print ('Time cost is: {}s'.format(end_time - start_time))
snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')
for stat in top_stats[:5]:
print (stat)
這兩個示例的執(zhí)行結(jié)果如下，可以放在一起進行對比：
[dechin@dechin-manjaro yield]$ python3 square_sum.py
Time cost is: 0.24723434448242188s
square_sum.py:9: size=781 KiB, count=2, average=391 KiB
square_sum.py:12: size=24 B, count=1, average=24 B
square_sum.py:11: size=24 B, count=1, average=24 B
[dechin@dechin-manjaro yield]$ python3 yield_square_sum.py
Time cost is: 0.23023390769958496s
yield_square_sum.py:9: size=136 B, count=1, average=136 B
yield_square_sum.py:14: size=112 B, count=1, average=112 B
yield_square_sum.py:11: size=79 B, count=2, average=40 B
yield_square_sum.py:10: size=76 B, count=2, average=38 B
yield_square_sum.py:15: size=28 B, count=1, average=28 B
經(jīng)過比較我們發(fā)現(xiàn)，兩種方法的計算時間是幾乎差不多的，但是在內(nèi)存占用上yield有著明顯的優(yōu)勢。當(dāng)然，也許這個例子并不是非常的恰當(dāng)，但是本文主要還是介紹yield的使用方法及其應(yīng)用場景。
無限長迭代器
在參考鏈接1中提到了一種用法是無限長的迭代器，比如按順序返回所有的素數(shù)，那么此時我們?nèi)绻胷eturn來返回所有的元素并存儲到一個列表里面，就是一個非常不經(jīng)濟的辦法，所以可以使用yield來迭代生成，參考鏈接1中的源代碼如下所示：
def get_primes(number):
while True:
if is_prime(number):
yield number
number += 1
那么類似的，這里我們用while True可以展示一個簡單的案例——返回所有的偶數(shù)：
# yield_iter.py
def yield_range2(i):
while True:
yield i
i += 2
iter = yield_range2(0)
for i in range(10):
print (next(iter))
因為這里我們限制了長度是10,所以最終會返回10個偶數(shù)：
[dechin@dechin-manjaro yield]$ python3 yield_iter.py
總結(jié)概要
本文介紹了python的迭代器yield，其實關(guān)于yield，我們可以簡單的將其理解為單個元素的return。這樣不僅就初步理解了yield的使用語法，也能夠大概了解到y(tǒng)ield的優(yōu)勢，也就是在計算過程中每次只占用一個元素的內(nèi)存，而不需要一直存儲大量的元素在內(nèi)存中。
到此這篇關(guān)于python3使用迭代生成器實現(xiàn)減少內(nèi)存占用的文章就介紹到這了,更多相關(guān)python3實現(xiàn)減少內(nèi)存占用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- Python使用__new__()方法為對象分配內(nèi)存及返回對象的引用示例
- 關(guān)于Python內(nèi)存分配時的小秘密分享
- python內(nèi)存動態(tài)分配過程詳解
- 用python監(jiān)控服務(wù)器的cpu,磁盤空間,內(nèi)存,超過郵件報警
- Python 內(nèi)存管理機制全面分析
- 總結(jié)python 三種常見的內(nèi)存泄漏場景
- Python numpy大矩陣運算內(nèi)存不足如何解決
- Python獲取android設(shè)備cpu和內(nèi)存占用情況
- python和C++共享內(nèi)存?zhèn)鬏攬D像的示例
- Python內(nèi)存泄漏和內(nèi)存溢出的解決方案
- 詳解python的內(nèi)存分配機制
