谷歌团队推出新Transformer，优化全景分割方案｜CVPR 2022(3)

研究结果

最后，研究小组在两个最具挑战性的全景分割数据集 COCO 和 Cityscapes 上使用全景质量 (PQ) 度量来评估 CMT-DeepLab 和 kMaX-DeepLab，并对比 MaX-DeepLab 和其他最先进的方法。

其中CMT-DeepLab 实现了显著的性能提升，而 kMaX-DeepLab 不仅简化了修改，还进一步提升了，COCO val set 上的 PQ 为 58.0%，PQ 为 68.4%，44.0% Mask平均精度（Mask AP），Cityscapes 验证集上的 83.5% 平均交集比联合（mIoU），没有测试时间增强或使用外部数据集。

从聚类的角度设计，kMaX-DeepLab 不仅具有更高的性能，而且还可以更合理地可视化注意力图以了解其工作机制。

在下面的示例中，kMaX-DeepLab 迭代地执行聚类分配和更新，从而逐渐提高Mask质量。

kMaX-DeepLab 的注意力图可以直接可视化为全景分割，让模型工作机制更合理

结论

本次研究展示了一种更好地设计视觉任务中的MaskTransformer的方法。

通过简单的修改，CMT-DeepLab 和 kMaX-DeepLab 重新构建了交叉注意力，使其更像一种聚类算法。

因此，所提出的模型在COCO 和 Cityscapes数据集上实现了最先进的性能。

研究团队表示，他们希望 DeepLab2 库中 kMaX-DeepLab 的开源版本有助于未来对专用于视觉Transformer架构设计的研究。

更多优质文章和资源干货！>>