​大家好，我是羽峰，今天要和大家分享的是【手把手教你】第三谈 — 图像分割，不是专业人士，如有错误，欢迎各位批评指正。

还是老话，我是羽峰，希望我所分享的文章能为您及更多的朋友带来帮助。欢迎转发或转载呀！

欢迎关注“羽峰码字”

1 认识图像分割

图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。简单的说就是在一副图像中，把目标从背景中分离出来。对于灰度图像来说，区域内部的像素一般具有灰度相似性，而在区域的边界上一般具有灰度不连续性。

1.1 分割在计算机中是如何表达的

图像在计算机中是以一堆数字的方式存在的，对于一张图中的每个目标来说，计算机对他们的认识是通过这些数字来完成的。如下图，对图像进行标注的时间，将人用数字1标注，包用数字2标注，树叶用数字3标注，人行道用数字4标注，建筑用数字5标注，计算机则是通过这些数字来识别每一个类别。而图像分割就是要把这些不同数字的边缘检测出来进行分割。

1.2 图像分割的几个子领域

语义分割：对于一张图像，分割出所有的目标（包括背景），但对于同一类别的目标，无法区别不同个体。
实例分割：将图像中除背景之外的所有目标分割出来，并且可以区分同一类别下的不同个体（例如第三幅图中每个人都用不同的颜色表示）
全景分割：在实例分割的基础上，可以分割出背景目标。
全景分割与语义分割的关系是：如果所有的类别都是stuff，那么全景分割除了度量与语义分割不同外，其它相同。与语义分割相比，全景分割的困难在于要使网络结构能够区分不同实例；
全景分割与实例分割的关系是：全景分割中不允许重叠，但实例分割可以；此外实例分割需要每个分割的置信概率，但全景分割不需要。

1.3 传统分割方法

1. 基于阈值的分割方法
2. 基于区域的图像分割方法
3. 基于边缘检测的分割方法
4. 基于小波小波变换的图像分割方法
5. 基于遗传算法的图像分割
6. 基于主动轮廓模型的分割方法

1.4 基于深度学习分割方法

FCN
U-Net
DeepLab
DeconvNet
SegNet
PSPNet
Mask-RCNN
这几种是比较重要的一些网络下面是两篇论文中总结出来的，总结的比较全面，希望感兴趣的话可以读读相关原文。

图引自：张继凯,赵君,张然,吕晓琪,聂俊岚.深度学习的图像实例分割方法综述[J].小型微型计算机系统,2021,42(01):161-171.

表引自：徐辉,祝玉华,甄彤,李智慧.深度神经网络图像语义分割方法综述[J].计算机科学与探索,2021,15(01):47-59.

2 基于深度学习的图像分割

基于深度学习的图像分割有很多，下面我们来介绍一种简单常见的代码，来讲解使用深度学习进行图像分割的一些流程，希望对各位读者有所帮助。

2.1 Oxford-IIIT Pet 数据集介绍

本教程将使用的数据集是 Oxford-IIIT Pet 数据集，由 Parkhi et al. 创建。该数据集由图像、图像所对应的标签、以及对像素逐一标记的掩码组成。掩码其实就是给每个像素的标签。每个像素分别属于以下三个类别中的一个：
类别 1：像素是宠物的一部分。

类别 2：像素是宠物的轮廓。

类别 3：以上都不是/外围像素。

pip install -q git+https://github.com/tensorflow/examples.git
复制代码

import tensorflow as tf
from tensorflow_examples.models.pix2pix import pix2pix
import tensorflow_datasets as tfds
tfds.disable_progress_bar()
from IPython.display import clear_output
import matplotlib.pyplot as plt
复制代码

2.2 Oxford-IIIT Pet 数据集下载

这个数据集已经集成在 Tensorflow datasets 中，只需下载即可。图像分割掩码在版本 3.0.0 中才被加入，因此我们特别选用这个版本。

dataset, info = tfds.load('oxford_iiit_pet:3.*.*', with_info=True)
复制代码

下面的代码进行了一个简单的图像翻转扩充。然后，将图像标准化到 [0,1]。最后，如上文提到的，像素点在图像分割掩码中被标记为 {1, 2, 3} 中的一个。为了方便起见，我们将分割掩码都减 1，得到了以下的标签：{0, 1, 2}。

def normalize(input_image, input_mask):
  input_image = tf.cast(input_image, tf.float32) / 255.0
  input_mask -= 1
  return input_image, input_mask
​
@tf.function
def load_image_train(datapoint):
  input_image = tf.image.resize(datapoint['image'], (128, 128))
  input_mask = tf.image.resize(datapoint['segmentation_mask'], (128, 128))
​
  if tf.random.uniform(()) > 0.5:
    input_image = tf.image.flip_left_right(input_image)
    input_mask = tf.image.flip_left_right(input_mask)
​
  input_image, input_mask = normalize(input_image, input_mask)
​
  return input_image, input_mask
​
def load_image_test(datapoint):
  input_image = tf.image.resize(datapoint['image'], (128, 128))
  input_mask = tf.image.resize(datapoint['segmentation_mask'], (128, 128))
​
  input_image, input_mask = normalize(input_image, input_mask)
​
  return input_image, input_mask
复制代码

数据集已经包含了所需的测试集和训练集划分，所以我们也延续使用相同的划分。

TRAIN_LENGTH = info.splits['train'].num_examples
BATCH_SIZE = 64
BUFFER_SIZE = 1000
STEPS_PER_EPOCH = TRAIN_LENGTH // BATCH_SIZE
​
train = dataset['train'].map(load_image_train, num_parallel_calls=tf.data.experimental.AUTOTUNE)
test = dataset['test'].map(load_image_test)
​
train_dataset = train.cache().shuffle(BUFFER_SIZE).batch(BATCH_SIZE).repeat()
train_dataset = train_dataset.prefetch(buffer_size=tf.data.experimental.AUTOTUNE)
test_dataset = test.batch(BATCH_SIZE)
复制代码

我们来看一下数据集中的一例图像以及它所对应的掩码。

def display(display_list):
  plt.figure(figsize=(15, 15))
​
  title = ['Input Image', 'True Mask', 'Predicted Mask']
​
  for i in range(len(display_list)):
    plt.subplot(1, len(display_list), i+1)
    plt.title(title[i])
    plt.imshow(tf.keras.preprocessing.image.array_to_img(display_list[i]))
    plt.axis('off')
  plt.show()
​
for image, mask in train.take(1):
  sample_image, sample_mask = image, mask
display([sample_image, sample_mask])
复制代码

2.3 定义模型

这里用到的模型是一个改版的 U-Net。U-Net 由一个编码器（下采样器（downsampler））和一个解码器（上采样器（upsampler））组成。为了学习到鲁棒的特征，同时减少可训练参数的数量，这里可以使用一个预训练模型作为编码器。因此，这项任务中的编码器将使用一个预训练的 MobileNetV2 模型，它的中间输出值将被使用。解码器将使用在 TensorFlow Examples 中的 Pix2pix tutorial 里实施过的升频取样模块。
输出信道数量为 3 是因为每个像素有三种可能的标签。把这想象成一个多类别分类，每个像素都将被分到三个类别当中。

OUTPUT_CHANNELS = 3
复制代码

如之前提到的，编码器是一个预训练的 MobileNetV2 模型，它在 tf.keras.applications 中已被准备好并可以直接使用。编码器中包含模型中间层的一些特定输出。注意编码器在模型的训练过程中是不会被训练的。

base_model = tf.keras.applications.MobileNetV2(input_shape=[128, 128, 3], include_top=False)
​
# 使用这些层的激活设置
layer_names = [
    'block_1_expand_relu',   # 64x64
    'block_3_expand_relu',   # 32x32
    'block_6_expand_relu',   # 16x16
    'block_13_expand_relu',  # 8x8
    'block_16_project',      # 4x4
]
layers = [base_model.get_layer(name).output for name in layer_names]
​
# 创建特征提取模型
down_stack = tf.keras.Model(inputs=base_model.input, outputs=layers)
​
down_stack.trainable = False
复制代码

Downloading data from storage.googleapis.com/tensorflow/… 9412608/9406464 [==============================] – 0s 0us/step

解码器/升频取样器是简单的一系列升频取样模块，在 TensorFlow examples 中曾被实施过。

up_stack = [
    pix2pix.upsample(512, 3),  # 4x4 -> 8x8
    pix2pix.upsample(256, 3),  # 8x8 -> 16x16
    pix2pix.upsample(128, 3),  # 16x16 -> 32x32
    pix2pix.upsample(64, 3),   # 32x32 -> 64x64
]
复制代码

def unet_model(output_channels):
  inputs = tf.keras.layers.Input(shape=[128, 128, 3])
  x = inputs
​
  # 在模型中降频取样
  skips = down_stack(x)
  x = skips[-1]
  skips = reversed(skips[:-1])
​
  # 升频取样然后建立跳跃连接
  for up, skip in zip(up_stack, skips):
    x = up(x)
    concat = tf.keras.layers.Concatenate()
    x = concat([x, skip])
​
  # 这是模型的最后一层
  last = tf.keras.layers.Conv2DTranspose(
      output_channels, 3, strides=2,
      padding='same')  #64x64 -> 128x128
​
  x = last(x)
​
  return tf.keras.Model(inputs=inputs, outputs=x)
复制代码

2.4 训练模型

现在，要做的只剩下编译和训练模型了。这里用到的损失函数是 losses.sparse_categorical_crossentropy。使用这个损失函数是因为神经网络试图给每一个像素分配一个标签，和多类别预测是一样的。在正确的分割掩码中，每个像素点的值是 {0,1,2} 中的一个。同时神经网络也输出三个信道。本质上，每个信道都在尝试学习预测一个类别，而 losses.sparse_categorical_crossentropy 正是这一情形下推荐使用的损失函数。根据神经网络的输出值，分配给每个像素的标签为输出值最高的信道所表示的那一类。这就是 create_mask 函数所做的工作。

model = unet_model(OUTPUT_CHANNELS)
model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])
复制代码

我们试着运行一下模型，看看它在训练之前给出的预测值。

def create_mask(pred_mask):
  pred_mask = tf.argmax(pred_mask, axis=-1)
  pred_mask = pred_mask[..., tf.newaxis]
  return pred_mask[0]
​
def show_predictions(dataset=None, num=1):
  if dataset:
    for image, mask in dataset.take(num):
      pred_mask = model.predict(image)
      display([image[0], mask[0], create_mask(pred_mask)])
  else:
    display([sample_image, sample_mask,
             create_mask(model.predict(sample_image[tf.newaxis, ...]))])
​
show_predictions()
复制代码

我们来观察模型是怎样随着训练而改善的。为达成这一目的，下面将定义一个 callback 函数。

class DisplayCallback(tf.keras.callbacks.Callback):
  def on_epoch_end(self, epoch, logs=None):
    clear_output(wait=True)
    show_predictions()
    print ('\nSample Prediction after epoch {}\n'.format(epoch+1))
​
EPOCHS = 20
VAL_SUBSPLITS = 5
VALIDATION_STEPS = info.splits['test'].num_examples//BATCH_SIZE//VAL_SUBSPLITS
​
model_history = model.fit(train_dataset, epochs=EPOCHS,
                          steps_per_epoch=STEPS_PER_EPOCH,
                          validation_steps=VALIDATION_STEPS,
                          validation_data=test_dataset,
                          callbacks=[DisplayCallback()])
复制代码

Sample Prediction after epoch 20 57/57 [==============================] – 3s 54ms/step – loss: 0.1308 – accuracy: 0.9401 – val_loss: 0.3246 – val_accuracy: 0.8903

loss = model_history.history['loss']
val_loss = model_history.history['val_loss']
​
epochs = range(EPOCHS)
​
plt.figure()
plt.plot(epochs, loss, 'r', label='Training loss')
plt.plot(epochs, val_loss, 'bo', label='Validation loss')
plt.title('Training and Validation Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss Value')
plt.ylim([0, 1])
plt.legend()
plt.show()
复制代码

2.5 模型预测

我们来做几个预测。为了节省时间，这里只使用很少的周期（epoch）数，但是你可以设置更多的数量以获得更准确的结果。

show_predictions(test_dataset, 2)
复制代码

至此，今天的分享结束了，希望通过以上分享，你能学习到图像分割的基本流程，基本过程。强烈建议新手能按照上述步骤一步步实践下来，必有收获。

今天文章来源于：

tensorflow.google.cn/tutorials/k…

新入门的小伙伴可以好好看看这个网站，很基础，很适合新手。

当然，这里也推荐一下这两个网站：

tensorflow.google.cn/tutorials/k…

keras.io/zh/
我是羽峰，公众号：羽峰码字， 欢迎来撩。

各位小伙伴好，我是羽峰，一个从双非梦想进大厂，最终如愿的一名非科班程序员。现在在某大厂从事算法工程师工作。
本硕期间致力于各种科研竞赛，从小白到全国冠军。读研期间去清华大学访学过，七篇发明专利，三篇科研文章，欢迎关注公众号“羽峰码字”，我们一起学习一起进步。
本公众号将会陆续分享一些编程和科研的文章，敬请期待。同时我也是b站up主：羽峰码字，日常分享技术视频，欢迎围观。