0 前言
本篇文章主要介绍几种重要的前/背景分割算法,这些算法主要基于颜色统计采样的方法，因此对前背景相差较大的图像效果较佳。
主要的关注点在于如何描述像素分布，以及使用什么算法进行最优化。
如图所示，分别为不同算法的演示实验，需要交互式的信息输入，然后基于颜色分布，进而得到分割结果。
1 问题描述
关注的问题是交互式前景/背景分割。如图所示，输入是一张图片和含有目标的方框，输出是目标。
2 basic idea
basic idea的出发点是前/背景的像素具有不同的分布特征，期望分割得到的目标像素最符合前景像素分布，最不符合背景像素分布。问题可以转化为：如何描述前/背景像素分布（颜色模型）？如何评价符合状况（能量函数）？如何找出最符合的那一部分像素（最优化）？
3 解决方案
3.1 Graph cut
3.1.1 颜色模型
使用Histogram灰度直方图作为颜色模型。使用两个灰度直方图，分别描述前/背景的颜色分布。
3.1.2 能量函数
如图所示，我们定义两种势能。
（1）基于灰度直方图，我们可以得到像素点位于前/背景的概率，从而得到颜色分布势能（Texture(colour) information(Energy)）。
（2）基于相邻像素点颜色的差异度，可以定义边缘势能（Enge(contrast) information(Energy)）。
3.1.3 最优化算法
最优化算法采用max flow/min cut算法，基于随机场的思想。
3.2 grabcut
3.2.1 与grpha cut区别
grabcut使用两个GMM模型分别描述前/背景颜色分布，定义基于前/背景颜色分布的能量函数评价符合状况，通过Graph cut算法能量最小化得到最符合的那一部分像素。
相对于Graph cut,主要改进有两点。
第一，使用三通道GMM模型描述像素分布，增加了可区分的信息量。相对于灰度直方图，GMM模型更加effictive。
第二，增加迭代过程，在像素优化时可以进行自适应学习。该过程可以类比于聚类。
3.2.2 pipeline
3.2.3 GMM
3.2.4 GMM Vs Histogram
GMM模型相对于灰度直方图的优势：
(1）灰度直方图是离散的，GMM模型是连续的。GMMs being effective at Capturing small appearance differences. The histogram representation will treat different colours equally differently, ignoring the color values of the histogram bins.
（2）GMM模型拥有三通道，所涉及到的信息量更多。
GMM模型的问题
(1) GMM模型是拟合得到的高斯曲线，拟合这个过程会造成信息量的损失，局部点会影响整体特性。
（2）MAP estimation with the GMM model is strictly speaking an ill-posed problem since by fitting a Gaussian to the color of a single pixel we may get an infinite likelihood. This can be avoided by adding a small
constant to the covariance matrix.
实验对比：
3.2.4 能量函数
能量函数与graph cut类似。
3.2.4 Iterative minimisation
从实验中可以看出，迭代过程中，GMM模型进行更新学习，能量下降收敛，最终得到能够准确描述前/背景颜色分布的模型。
3.2.5 存在问题
3.3 Dense Cut
3.3.1 能量函数
能量函数包括两项。其中第一项是根据颜色分布，基于GMM颜色模型定义的能量。第二项是连接势能，基本出发点是评价周围的像素点对该像素点的影响状况。第二项又包括三项Equ.5,Equ.6,Equ.7，其中Equ.5 models the appearance similarity and encourages nearby pixels with similar color to have the same binary label，Equ.6 encourages smoothness and helps to remove small isolated regions。
Dense Cut与Grab Cut 区别：
（1）使用Histogram方法拟合GMM颜色模型，速度更快。
（2）使用全连接CRF模型。增加了Equ.7.
Equ.7可以看作是一种基于颜色距离定义的颜色模型。本质与GMM颜色模型，Histogram颜色模型类似。
（1） Equ.7 直接计算能量函数，没有经过拟合的过程，减少了信息量的损失。
（2） Equ.7 没有对像素点进行分类。在GMM颜色模型中，为了描述不同颜色，我们没有使用正态分布，而是使用联合正态分布，多个正态分布分别对应多种颜色（峰值）。
基于上述想法，可以使用CRF作为颜色模型,并结合KNN对其进行分类。
3.3.2 CRF VS GMM
CRF的形式类似一个正态分布。
CRF与GMM的对比试验。从图中可以看出，与GMM相比，CRF模型更加稳定。
原理上讲，CRF+KNN应该比GMM模型更为优越。不过从实验中，我们暂且无法得出此结论。
4 总结
5 参考文献
[1] Carsten Rother,Vladimir Kolmogorov,Andrew Blake. “GrabCut” — Interactive Foreground Extraction using Iterated Graph Cuts.
[2] Yuri Y. Boykov , Marie-Pierre Jolly . Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images .
[3] Ming-Ming Cheng, Victor Adrian Prisacariu, Shuai Zheng, Victor Adrian Prisacariu,Carsten Rother. DenseCut: Densely Connected CRFs for Realtime GrabCut.
[4]Carsten Rother,Vladimir Kolmogorov,Andrew Blake. “GrabCut” — Interactive Foreground Extraction using Iterated Graph Cuts.
[5] Yuri Y. Boykov , Marie-Pierre Jolly . Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images .
[6] Philipp Kr¨ahenb¨uhl, Vladlen Koltun. Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials.
[7] Meng Tang, Lena Gorelick, Olga Veksler, Yuri Boykov. GrabCut in One Cut.
[8] Sara Vicente,Vladimir Kolmogorov, Carsten Rother. Joint optimization of segmentation and appearance models