论文阅读：BiSeg: Simultaneous Instance Segmentation and Semantic Segmentation

这篇文章，继承了InstanceFCN和FCIS方法的思想，进一步做了优化和补充。

创新点1：

在InstanceFCN文章中描述的以7∗7作为每个单元格的分辨率时效果最好，本文考虑到在某些情况下9∗9效果也不错。所以提出多尺度融合的方法做进一步的优化。具体操作如下：

在上一篇FCIS方法中，获得的score maps是2∗k2∗(C+1)维，在本文中，考虑以下两条线针对不同的feature map。At first set，针对conv5接1∗1卷积层，生成2∗k21∗(C+1)维score maps。the second set，和set1一样的操作，使用conv3替代conv5（conv3是conv5的两倍大），生成2∗k22∗(C+1)维score maps。(k1,k2)={7,9}。然后只需要将RoI按照不同大小映射到score maps上计算RoI likelihood map，最终得到2∗(C+1)维的RoI likelihood map（包含inside\outside）。示意图如下：

创新点2：

在FCIS方法中，作者直接使用RoI likelihood map使用Softmax和max操作分别获得了mask和label。本文进一步增加了贝叶斯估计，提高了分割和分类的准确性。

贝叶斯估计就是输入先验概率图，似然概率，获得后验概率图。本文就考虑使用一条semantic segmentation网络获得的分割图作为先验概率图，将求得的RoI likelihood map作为似然概率，优化获得最终的后验概率图作为分割结果。流程图如下：



得到结果图之后的操作和FCIS操作一致。