1、经常使用pytorch的都知道，下面是pytorch加载自己数据的流程代码
from torch.utils.data import Datasetfrom torch.utils.data import DataLoaderclass MyDataset(Dataset): def __init__(self) def __len__(self) def __getitem__(self， index)dataset = MyDataset()loader = DataLoader(dataset, batch_size=, num_workers=, shuffle= , collate_fn = )for data in loader:
2、如果__getitem__函数返回的是1个image，1个 label这样的数据
def __getitem__(self, index)： return image, labelfor data in loader:
我们取出来的data数据就是一个2个元素的list列表
data[0]存放的是batch_size个image数据，
data[1]存放的是batch_size个label数据，
3、如果__getitem__函数返回的是多个image, 多个label这样的数据
def __getitem__(self, index)： return image1, image2,image3,label1,label2,label3for data in loader:
我们取出来的data数据就是一个6个元素的list列表，
data[0]存放的是batch_size个image1数据，
data[1]存放的是batch_size个image2数据，
data[2]存放的是batch_size个image3数据，
data[3]存放的是batch_size个label1数据，
data[4]存放的是batch_size个label2数据，
data[5]存放的是batch_size个label3数据，
4、如果__getitem__函数返回的是image 和label这样的列表数据数据
def __getitem__(self, index)： return [image1, image2,image3],[label1,label2,label3]for data in loader:
我们取出来的data数据就是一个2个元素的list列表，
data[0] 是一个3个元素的列表
data[0][0]存放的是batch_size个image1数据，
依次类推
总结：使用pytorch获取一个batchsize的数据，其结构和__getitem__函数的返回数据结构相同，只是每个元素都增加一个维度，例如image的维度为3x512x512，变为16x3x512x512
5、如果想改变这种默认的组合方式，可以重写collate_fn函数，
重写collate_fn函数，可以对batch_size个数据重写整合，下面的代码，是对下面这种数据的重写整合
def __getitem__(self, index)： return [image1, image2,image3],[label1,label2,label3]def train_collate(batch): batch_size = len(batch) images = [] labels = [] for b in range(batch_size): if batch[b][0] is None: continue else: images.extend(batch[b][0]) labels.extend(batch[b][1]) images = torch.stack(images, 0) labels = torch.from_numpy(np.array(labels)) return images, labels
其中batch是batch_size个__getitem__个返回的数据，也就是，下面的结构[image1, image2,image3],
[
[image1, image2,image3],[label1,label2,label3]
[image1, image2,image3],[label1,label2,label3]
[image1, image2,image3],[label1,label2,label3]
…
[image1, image2,image3],[label1,label2,label3]
[image1, image2,image3],[label1,label2,label3]
[image1, image2,image3],[label1,label2,label3] ]
处理过之后，返回的数据是(list结构)：
images: labels:
[image1, [label1,
image2, label2,
image3， label3,
image1, label1,
image2, label2,
image3， label3,
… …
image1, label1,
image2, label2,
image3] label3]
6、还可以重写sampler， 改变采样方式
未完待续