如何让算法解释自己为什么"算法歧视"？

一、算法的可解释性隐忧

传播学者尼尔·波兹曼在《技术垄断》一书中断言，每一种新技术都既是包袱又是恩赐，不是非此即彼的结果，而是利弊同在的产物。

作为一项新技术，人工智能以其强大的变革势能，重构了人类社会的原有规则和运作方式。人类把选择乃至决策的权力拱手交给 AI，在享受着由此产生的便利的同时，却又不自觉地生发出自身及世界将被 AI 支配的恐惧心理。

某种程度上，这种恐惧源于算法的不透明性。人类天生会对未知事物感到恐惧，对于人类而言，算法运作宛若"黑箱"——我们负责提供数据、模型和架构，算法负责给出答案，而中间的运作过程却只在暗处进行。

这种合作方式看似给我们带来极大便利，但是问题在于，如果算法的运作不可监察、不可解释，将导致人类无法真正理解算法，更不能有效地控制算法，从而也就无法预见和解决算法可能带来的问题。

难以想象，当人类把未来命运寄托于一项既不可知又不可控的技术会诱发怎样的后果。"MIT 科技评论"曾发表过一篇题为"人工智能中的黑暗秘密"的文章，指出"没有人真正知道先进的机器学习算法是怎样工作的，而这恐将成为一大隐忧。"而纽约大学 AI Now Institute 的一份报告甚至建议负责刑事司法、医疗保健、社会福利和教育的公共机构避免使用 AI 技术。

二、不可解释的算法带来歧视

许多人认为算法是单纯的技术，并没有什么价值观可言，但实际上算法也像它的人类缔造者一样，存在着各种偏见和歧视。究其本质，算法歧视属于社会结构性歧视的延伸，因为算法的有效性建基于大量数据材料分析，而这些材料大多都源自社会现实。

比如，训练分类算法进行图像识别，让它能从一堆职业照片中选出"医生"职业。我们首先要为算法提供大量的医生图像进行学习，算法会总结出这些图像的基本特性，比如白色大褂、口罩、听诊器等等，并将其作为标准在识别工作中予以执行。

但问题是由于种种现实和历史原因，在当下医生人群中，男性的比例确实更高。而算法通过上述的学习，并不会理解这是我们当下及未来要努力做出改变的地方，而很可能认定"男性"是"医生"这一职业判定的相关因素，从而在识别中把女性医生筛选出去。

另外的例子是与就业求职相关的算法向男性推荐的工作岗位整体工资要高于向女性推荐的岗位，以及美国警方的犯罪识别系统会认定黑人犯罪概率更高。因此，性别、种族等方面的现实偏见通过算法得以延伸。

而算法歧视之所以难以解决，归根结底在于算法的可解释性问题，如果我们不能理解算法的运作方式，自然也就无法得知它为什么会延续歧视，更无法对歧视问题进行解决。

但在算法的黑箱运作机制下，AI 做出决策的影响因素并不会显而易见的拉成一个单子摆在研发者的面前。"女性"这一影响因素本身并不会表明为女性，而可能被表述为一系列描述身体视觉特征的像素向量，对于有色人种和其它需要被剔除的影响因素也是同理。这也导致过往的研发人员不可能依靠"看一眼"就将算法中的偏见剔除。

三、TCAV，让普通人理解算法的运作方式

TCAV 是"概念激活向量测试"（Testing with Concept Activation Vectors）的缩写。

总体而言，TCAV 是一种算法可解释性的方法，能够直观显示神经网络模型运算所依据的概念及其比重。正因为如此，TCAV 也是一种算法歧视纠偏技术，因为它可以被用于观察其他 AI 模型中的算法歧视倾向。

人类之所以不能理解算法的运作规则，是因为二者"认知方式"存在差异：人类往往使用各种高级概念进行思考和交流，而大多数机器学习模型则关注低阶要素，运用大量抽象概念进行"思考"。比如，人类之所以能判定一张图中的动物是斑马，主要依据它的身形、黑白条纹等高级概念；但算法却不一样，它考量的是不同特征属性（Feature Attribution）的权重。

问题就在于，人类无法理解算法所采用的识别方式。 因为我们在描述事物时，会直接动用颜色、形状等各种高级概念，却永远不会说图像的第 6 个像素的值是 33。

而 TCAV 技术试图解决的正是这个问题——它能直观显示在算法运作中各种高级概念的权重，比如颜色、性别、种族、年龄等（即便该概念不是训练的部分）。

比如，一个训练有素的模型能够检测图像中动物是否是斑马，而 TCAV 可以帮助我们理解哪些变量在识别图像时发挥了作用，以及各自发挥了多大的重要性。由结果可见，在各项概念中，"条纹"（Stripes）占据的权重最高，"马的形体"（Horse）次之，"草原背景"（Savanna）的权重最低，但也有 29%。

而 TCAV 的这一功能被用于算法纠偏非常合适，当我们把它的这项能力转移到涉及社会现实的识别模型上时，就可以清晰地判定该模型是否涉及歧视。比如，一个用于识别医生图像的算法，由 TCAV 的结果可见，其高权重的识别概念包括"白色衣服"、"听诊器"以及"男性"等。前两个影响因素是正确的，但关于性别的判断则意味着模型出了偏见需要通过进一步训练进行纠偏。

四、结语

TCAV 的重要意义在于，它不仅在技术层面以一种极为有效的方式解决了算法的可解释性问题，而且它以人类所使用的高阶语言为呈现形式，即便是没有技术背景的普通人也可窥见算法究竟以何种标准进行运作，是否有所偏倚，进而能够及时解决算法偏见和算法歧视问题。

要知道，算法和 AI 并非张牙舞爪的妖魔鬼怪，无端的恐惧和忧愁均无助于问题的解决。它更像是正在学步的孩童，需要我们借助于 TCAV 这样的解释性工具进行对话、达成理解并帮助它更好地成长，这才是引导科技向善的体现。