pytorch之自定义数据集

pytorch提供了torch.utils.data.Dataset这一抽象类来定义自己的数据集。使用时需要定义__len__ 和__getitem__这两个函数。

例如，定义一个最简单的数据集

class myDataset(Dataset):

    def __init__(self, file_path):
        self.csv_data = pandas.read_csv(file_path)

    def __len__(self):
        return len(self.csv_data)

    def __getitem__(self, item):
        return self.csv_data.loc[item]

另外，我们可以使用torch.utils.data.Dataloader来定义一个迭代器，从而实现取batch，shuffle和多线程。

本文链接：https://blog.csdn.net/qq_35571432/article/details/90247592

智能推荐

Pytorch自定义图片数据集

本篇博客旨在实现pytorch读取图片并自定义图片数据集图像加载方法主流的图像加载方法主要有三种下表中xxx表示图片的路径库函数/方法返回值图像像素格式像素值范围图像矩阵表示 skimage io.imread(xxx) numpy.ndarray RGB [0, 255] (H X W X C) cv2 cv2.imread(xxx) numpy.ndarray BGR [0,...

使用Pytorch自定义数据集

使用Pytorch自定义数据集参考：https://www.bilibili.com/video/BV1hE411t7RN?spm_id_from=333.999.0.0 蚂蚁蜜蜂/练手数据集：链接: https://pan.baidu.com/s/1jZoTmoFzaTLWh4lKBHVbEA 密码: 5suq Custom_dataset.py...

在非练习的情况下，我们使用torch去做深度学习时首先面对的就是如何把未经处理的数据整合成torch能识别的tensor。为此，torch提供了抽象类Datasets。要自定义数据集，首先要继承抽象类class torch.utils.data.Dataset，并且需要重载两个重要的函数：__len__ 和__getitem__，前者提供了数据集的大小，后者支持整数索引，范围从0到len(sel...

Pytorch自定义数据集 ImageNet

由于Pytorch不支持内置的ImageNet数据集，因此我们需要自定义数据集。有两种方式 1、使用ImageFolder ImageFolder需要数据集有良好的结构，train和test下分别包含相同类别的文件夹，每个文件夹存放一类图像，也就是这样此时把.../ImageNet/train 或者 .../ImageNet/test/ 当作imagenet_root传入ImageFolder即...

Pytorch自定义数据集

自定义数据集的代码如下：现在我们的自定义数据集即将做好了，然后使用dataloader模块打包数据集：接下来就可以开始训练啦！！！ train fuction的代码： test function的代码：一共使用5个epoch。因此代码如下：...

代码先锋网代码片段及技术文章聚合