python遍歷迭代器自動鏈?zhǔn)教幚頂?shù)據(jù)的實(shí)例代碼

更新時(shí)間：2022年01月09日 15:16:11 作者：365/24/60

迭代器也是用來遍歷對象成員的,下面這篇文章主要給大家介紹了關(guān)于python遍歷迭代器自動鏈?zhǔn)教幚頂?shù)據(jù)的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下

python遍歷迭代器自動鏈?zhǔn)教幚頂?shù)據(jù)

pytorch.utils.data可兼容迭代數(shù)據(jù)訓(xùn)練處理，在dataloader中使用提高訓(xùn)練效率：借助迭代器避免內(nèi)存溢出不足的現(xiàn)象、借助鏈?zhǔn)教幚硎沟脭?shù)據(jù)讀取利用更高效(可類比操作系統(tǒng)的資源調(diào)控)

書接上文，使用迭代器鏈?zhǔn)教幚頂?shù)據(jù)，在Process類的__iter__方法中執(zhí)行掛載的預(yù)處理方法，可以嵌套包裹多層處理方法，類似KoaJs洋蔥模型，在for循環(huán)時(shí)，自動執(zhí)行預(yù)處理方法返回處理后的數(shù)據(jù)

分析下述示例中輸入數(shù)據(jù)依次執(zhí)行順序：travel -> deep -> shuffle -> sort -> batch，實(shí)際由于嵌套循環(huán)或設(shè)置緩存的存在，數(shù)據(jù)流式會有變化，具體如后圖分析

from torch.utils.data import IterableDataset
# ...

import random

class Process(IterableDataset):
    def __init__(self, data, f):
        self.data = data
        # 綁定處理函數(shù)
        self.f = f   
    def __iter__(self):
        # for循環(huán)遍歷時(shí)，返回一個(gè)當(dāng)前環(huán)節(jié)處理的迭代器對象
        return self.f(iter(self.data)) 

a = ['a0', 'a1', 'a2', 'a3', 'a4', 'a5', 'a6', 'a7', 'a8', 'a9']
b = ['b0', 'b1', 'b2', 'b3', 'b4', 'b5', 'b6', 'b7', 'b8', 'b9']
c = ['c0', 'c1', 'c2', 'c3', 'c4', 'c5', 'c6', 'c7', 'c8', 'c9']
# data = [[j + str(i) for i in range(10)] for j in ['a','b', 'c'] ]
data = [a, b, c]
def travel(d):
    for i in d:
        # print('travel ', i)
        yield i
def deep(d):
    for arr in d:
        for item in arr:
            yield item

def shuffle(d, sf_size=5):
    buf = []
    for i in d:
        buf.append(i)
        if len(buf) >= sf_size:
            random.shuffle(buf)
            for j in buf:
                # print('shuffle', j)
                yield j
            buf = []
    for k in buf:
        yield k

def sort(d):
    buf = []
    for i in d:
        buf.append(i)
        if len(buf) >= 3:
            for i in buf:
                # print('sort', i)
                yield i
            buf = []
    for k in buf:
        yield k

def batch(d):
    buf = []
    for i in d:
        buf.append(i)
        if len(buf) >= 16:
            for i in buf:
                # print('batch', i)
                yield i
            buf = []
# 對訓(xùn)練數(shù)據(jù)進(jìn)行的多個(gè)預(yù)處理步驟
dataset = Process(data, travel)
dataset = Process(dataset , deep)
dataset = Process(dataset , shuffle)
dataset = Process(dataset , sort)
train_dataset = Process(p, batch)

# 可在此處斷點(diǎn)測試
for i in p:
    print(i, 'train')

# train_data_loader = DataLoader(train_dataset,num_workers=args.num_workers,prefetch_factor=args.prefetch)
# train(model , train_data_loader）

由上可以構(gòu)造數(shù)據(jù)流式方向：batch(iter(sort(iter(shuffle(iter(deep(iter(travel(iter( d ))))))))))

根據(jù)數(shù)據(jù)流式抽取部分過程畫出時(shí)序圖如下：

附：python 手動遍歷迭代器

想遍歷一個(gè)可迭代對象中的所有元素，但是卻不想使用for 循環(huán)

為了手動的遍歷可迭代對象，使用next() 函數(shù)并在代碼中捕獲StopIteration 異常。比如，下面的例子手動讀取一個(gè)文件中的所有行

def manual_iter():
    with open('/etc/passwd') as f:
        try:
            while True:
                line = next(f)
                print(line, end='')
        except StopIteration:
            pass

通常來講， StopIteration 用來指示迭代的結(jié)尾。然而，如果你手動使用上面演示的next() 函數(shù)的話，你還可以通過返回一個(gè)指定值來標(biāo)記結(jié)尾，比如None 。下面是示例：

with open('/etc/passwd') as f:
    while True:
        line = next(f)
        if line is None:
            break
    print(line, end='')

大多數(shù)情況下，我們會使用for 循環(huán)語句用來遍歷一個(gè)可迭代對象。但是，偶爾也需要對迭代做更加精確的控制，這時(shí)候了解底層迭代機(jī)制就顯得尤為重要了。下面的交互示例向我們演示了迭代期間所發(fā)生的基本細(xì)節(jié)：

>>> items = [1, 2, 3]
>>> # Get the iterator
>>> it = iter(items) # Invokes items.__iter__()
>>> # Run the iterator
>>> next(it) # Invokes it.__next__()
1
>>> next(it)
2
>>> next(it)
3
>>> next(it)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration
>>>