使用 coco 数据格式 json 文件进行交叉验证

Question

我是 ML 学习者的新手，正在尝试使用 COCO 数据格式 json 在 google colab 上进行语义图像分割，并在 google 驱动器上尝试大量图像。

更新

我借用了这段代码作为起点。所以我在 colab 上的代码几乎是这样的。 https://github.com/akTwelve/tutorials/blob/master/mask_rcnn/MaskRCNN_TrainAndInference.ipynb

/更新

每次收到新的注释数据时，我都会将导出的 json 文件拆分为 2 jsons（train/validate，比例为 80/20）。但这越来越累了，因为我在一个文件中有超过 1000 个注释，我用 VS 代码的替换功能手动完成。

有没有更好的方法在 google colab 上以编程方式执行此操作？

所以我喜欢做的是旋转注释数据，而无需手动生成 json 文件。

说，我的 google 驱动器上的一个 json 文件中有 1000 个注释，我想使用 1-800 注释进行训练，使用 801-1000 注释验证第一次训练，然后在下一次训练中，我想使用 210-1000 注释进行训练，使用 1-200 注释进行验证。就像从 colab 上的代码中选择 json 中的一部分数据。

或者，如果我可以在一次训练中轮换数据（K 折交叉验证？），那就更好了，但我不知道该怎么做。

这是我在 colab 上的部分代码。

正在加载 json 个文件

dataset_train = CocoLikeDataset()
dataset_train.load_data('PATH_TO_TRAIN_JSON', 'PATH_TO_IMAGES')
dataset_train.prepare()

dataset_val = CocoLikeDataset()
dataset_val.load_data('PATH_TO_VALIDATE_JSON', 'PATH_TO_IMAGES')
dataset_val.prepare()

正在初始化模型

model = modellib.MaskRCNN(mode="training", config=config, model_dir=MODEL_DIR)

init_with = "coco"

if init_with == "imagenet":
    model.load_weights(model.get_imagenet_weights(), by_name=True)
elif init_with == "coco":
    model.load_weights(COCO_MODEL_PATH, by_name=True,
                       exclude=["mrcnn_class_logits", "mrcnn_bbox_fc", 
                                "mrcnn_bbox", "mrcnn_mask"])
elif init_with == "last":
    model.load_weights(model.find_last(), by_name=True)

火车

start_train = time.time()
model.train(dataset_train, dataset_val, 
            learning_rate=config.LEARNING_RATE, 
            epochs=30, 
            layers='heads')
end_train = time.time()
minutes = round((end_train - start_train) / 60, 2)
print(f'Training took {minutes} minutes')

验证

start_train = time.time()
model.train(dataset_train, dataset_val, 
            learning_rate=config.LEARNING_RATE / 10,
            epochs=10, 
            layers="all")
end_train = time.time()
minutes = round((end_train - start_train) / 60, 2)
print(f'Training took {minutes} minutes')

json

{
  "info": {
    "year": 2020,
    "version": "1",
    "description": "Exported using VGG Image Annotator (http://www.robots.ox.ac.uk/~vgg/software/via/)",
    "contributor": "",
    "url": "http://www.robots.ox.ac.uk/~vgg/software/via/",
    "date_created": "Tue Jan 21 2020 16:18:14"
  },
  "images": [
    {
      "id": 0,
      "width": 2880,
      "height": 2160,
      "file_name": "sample01.jpg",
      "license": 1,
      "flickr_url": "sample01.jpg",
      "coco_url": "sample01.jpg",
      "date_captured": ""
    }
  ],
   "annotations": [
    {
      "id": 0,
      "image_id": "0",
      "category_id": 1,
      "segmentation": [
        588,
        783,
        595,
        844,
        607,
        687,
        620,
        703,
        595,
        722,
        582,
        761
      ],
      "area": 108199,
      "bbox": [
        582,
        687,
        287,
        377
      ],
      "iscrowd": 0
    }
  ],
  "licenses": [
    {
      "id": 1,
      "name": "Unknown",
      "url": ""
    }
  ],
  "categories": [
    {
      "id": 1,
      "name": "nail",
      "supercategory": "type"
    }
  ]
}

仅供参考，我的工作流程就像

使用 VIA 标注工具标注图片
以 coco 格式导出注释json
修改json并保存到我的google驱动器
在 colab 上加载 json 并开始训练

Answer 1

sklearn 库中有一个非常好的实用函数，可以完全按照您的要求进行操作。它被称为train_test_split。

现在，很难理解你的数据结构是什么，但我假设这段代码：

dataset_train = CocoLikeDataset()
dataset_train.load_data('PATH_TO_TRAIN_JSON', 'PATH_TO_IMAGES')
dataset_train.prepare()

使用某种图像数组或图像路径数组填充 dataset_train。 sklearn 的 train_test_split 函数能够接受 pandas DataFrame 以及 numpy 数组。

我通常对 pandas DataFrames 非常满意，所以我建议您使用 pandas 函数 concat 将训练数据和验证数据合并为一个 DataFrame，然后在每个训练时期开始时使用 sklearn 函数 train_test_split 创建一个随机分割。它看起来像下面这样：

import pandas as pd
from sklearn.model_selection import train_test_split

# Convert the data into a DataFrame
master_df = pd.concat([pd.DataFrame(dataset_train), pd.DataFrame(dataset_val)], ignore_index=True)

# Separate out the data and targets DataFrames' (required by train_test_split)
data_df = master_df[['image_data_col_1','image_data_col_2','image_data_col_3']]
targets_df = master_df[['class_label']]

# Split the data into a random train/test (or train/val) split
data_train, data_val, targets_train, targets_val = train_test_split(data_df, targets_df, test_size=0.2)

# Training loop
# If the training function requires the targets to be present in the same DataFrame, you can do this before beginning training:
dataset_train_df = pd.concat([data_train, targets_train], axis=1)
dataset_val_df = pd.concat([data_val, targets_val], axis=1)
##################################
# Continue with training loop...
##################################

最后一点：理想情况下，您应该拥有三组 - 训练、测试和验证。因此，事先分离出一个测试集，然后在训练循环的每次迭代开始时执行 train_test_split 以获得从剩余数据中拆分出来的训练验证。

使用 coco 数据格式 json 文件进行交叉验证

Cross Validation with coco data format json files

python

json

machine-learning

cross-validation

semantic-segmentation