一般来说，区分一个人是白人、黑人还是黄种人，主要通过他的外貌特征来判断。

如果只给你看胸部 X 光片、肢体 X 光片或者 CT 扫描，你能判断出他的种族吗？

严谨点说，极大概率不能。

别说你，就连最专业的医学影像专家，都无法做到这一点。

但就在最近，麻省理工学院的一项研究表明，经过训练的人工智能模型，只看胸部 X 光片、肢体 X 光片或者 CT 扫描影像，就可以判断出对应患者的种族，而且准确率达到了 90% 以上。

即使这些医学影像有损坏、裁剪或包含噪声，人工智能模型也能识别。

研究人员在模型训练中，使用了私人 (Emory CXR、Emory 胸部 CT、Emory 颈椎和 Emory 乳房 X 线照片) 和公共 (MIMIC-CXR、CheXpert、国家肺癌筛查试验、RSNA 肺栓塞 CT 和数字手部图谱) 数据集，数据集中的图像并未明确提及病人的种族信息，但训练出的模型，却能够高准确率地识别出患者的种族信息。

“我想我的学生一定是疯了。”

当看到自己的研究生展示论文中的结果时，麻省理工学院助理教授 Marzyeh Ghassemi 惊呆了，他认为肯定是哪里出错了，这不可能。

为了搞明白人工智能模型是怎么识别的，研究员展开了一系列实验。

针对种族检测的可能机制，他们分析了很多可能的变量，包括解剖结构差异、骨密度、图像分辨率等，试图做出解释。

打个比方，在骨密度测试使用的图像中，骨较厚的部分呈白色，较薄的部分呈灰色或半透明。

研究者们分析认为，黑人通常具有较高的骨矿物质密度，因此产生的颜色差异，可以帮助人工智能模型检测种族。

为了验证这一点，他们用过滤器对图像进行调整，这样模型就不会出现颜色差异。

可结果证实，调整影像颜色并没有扰乱模型，它仍然可以准确地预测种族。

就这样，排除了所有能想到的变量后，研究人员不可思议地发现：AI 仍然拥有胸部 X 光检测患者种族的能力。

“这样的结果令人感到震惊和困惑，但我们找不到更好的解释。”

麻省理工学院助理教授 Marzyeh Ghassemi 表示：“哪怕将这些医学影像调整到已经不能被称为医学图像的样子，人工智能模型的识别正确率仍能保持非常高的性能。”

人工智能轻易挖掘出医学影像背后的隐藏信息，这让研究人员颇为忧虑。

麻省理工学院国际经济研究所 (IMES) 首席研究科学家 Leo Anthony Celi 表示：“算法中包含了不同的群体数据，我们并不能保证它不会延续或扩大现有的差距和不平等。为算法提供更多具有表示性的数据并不是万能的。这篇论文应该让我们慢下来，重新慎重思考，我们是否已经准备好将人工智能带到病床边。”

算法中存在偏见，早已不是什么新鲜事，过往的案例数不胜数。比如，计算机程序可能会认为，黑人被告再次犯罪的可能性是白人被告的两倍。

但这次和以往不同，这次的偏见，存在在之前从未意识到的医学影像领域。

当人工智能反映了产生这些算法的人类的无意识思想、种族主义和偏见时，它可能会导致严重的伤害事件。

正如研究所展示，算法“看到”种族的事实可能很危险。但一个重要且相关的事实是，如果谨慎使用，算法也可以消除偏见。

加州大学伯克利分校副教授 Ziad Obermeyer 的研究重点，是人工智能应用与健康。

他提到：“工作中，我们也会发现，从患者疼痛经历中学习的算法，可以在 X 射线中发现新的膝关节疼痛源，这些源头对黑人患者的影响尤其严重，而放射科医师也可能会忽视这些原因。因此，就像任何工具一样，算法既可以是邪恶的力量，也可以是善良的力量——这取决于我们，以及我们在构建算法时所做的选择。”

参考资料：

1、AI recognition of patient race in medical imaging: a modelling study

2、Artificial intelligence predicts patients’ race from their medical images

文 | 木子Yanni

嗨，这里是浅黑科技，在未来面前，我们都是孩子。

想看更多科技故事，欢迎戳→微信公众号：浅黑科技：qianheikeji