可解释机器学习最新综述：应用于实时场景中的机遇与挑战(2)

论文链接：

https://arxiv.org/abs/2302.03225 代码链接： https://github.com/ynchuang/awesome-efficient-xai

什么是可解释机器学习？

深度模型（神经网络）的推理过程是黑盒化的、不可解释的。机器学习发展至今仍然无法完全打开这个黑盒子。可解释机器学习的研究内容就是为深度模型的推理结果提供人类可以理解的解释（原因）。这在有道德约束下的应用场景中是极其重要的。例如，某银行利用深度学习算法来预测用户的信用度以决定是否贷款给用户。对于信用度预测值较低的用户，银行有责任提供合理的解释来说明认定该用户信用度低的原因。
模型解释可分为两种：模型层面的解释和样本层面的解释，如图1所示。模型层面的解释是展示出模型判断的逻辑，如图1（a）所示；样本层面的解释是展示出每个样本的不同特征对于模型预测的贡献度，如图1（b）所示。由于复杂模型对于不同样本的推理过程是多样性的，所以宏观的模型层面解释很难适用于所有样本。目前主流的研究工作更关注样本层面的解释。
因此，本文所讨论的解释算法都是样本层面的解释，不涉及模型层面的解释。
图1 （a）模型层面的解释和（b）样本层面的解释。

实时系统需要怎样的模型解释算法？

虽然解释算法能够客观地反映深度模型的推理依据，但是为每个样本生成解释的过程有相当高的计算复杂度。以目前主流的解释算法为例：Shapley解释如式（1）所示，其中 U 是全部特征组成的集合。计算规模随着特征数量的增多而指数级增长；积分梯度是一种有效的图像解释算法，如式（2）所示。它需要沿着积分路径多次采样模型的梯度值来近似估计积分值。
然而，在实时场景中，如在线推荐系统，医疗系统的实时监测以及自动驾驶的实时目标检测等，我们需要算法可以快速高效地生成解释。这就需要对现有解释算法进行加速，以满足实时系统的需求。本文汇总了目前主流的（算法层面）加速模型解释算法（不涉及系统层面），分析了已有工作的局限性，并提出了未来研究的技术难点。