凯书获得美国国家科学基金会职业早期发展奖

凯舒，伊利诺伊理工学院的计算机科学助理教授兼格拉德温开发讲席教授，多年来一直致力于研究减少人工智能算法中的偏见——而现在，这项工作为他赢得了美国国家科学基金会颁发的享有盛誉的CAREER奖，该奖项将帮助他继续这一研究道路。

“获得美国国家科学基金会的CAREER资助是对我多年来在推动本领域科学理解方面所付出的努力、奉献和热情的证明，”舒说。“这意味着我们提出的研究方向得到了像美国国家科学基金会这样知名机构的认可，这进一步验证了我们工作在科学界的重要性和影响力。”

确保人工智能算法的公平性意味着在算法应用于社交媒体挖掘和健康信息学等现实场景时，要避免放大不平等现象，并消除现有偏见。在领域和时间等分布变化的情况下，公平性表现可能会大幅下降。

现有的公平性算法需要直接访问确切的人口统计属性，但由于人们的意识和隐私方面的法律法规，这很难实现。研究还表明，解决公平性可能会增加隐私泄露的风险。此外，恶意行为者可以通过在训练阶段注入“中毒”样本或在推理阶段操纵数据来放大人工智能算法的人口统计偏见。

在构建人工智能工具时，需要大量的训练数据，这些数据会影响算法对未来的预测。当直接将有偏见的数据输入训练过程时，人工智能工具可能会产生严重的公平性风险。

例如，大型语言模型等人工智能算法的偏见输出可能存在，并因恶意注入的指令而加强。舒说，该项目的一个目标是开发更可靠的人工智能模型，以应对这种注入攻击，从而确保公平性的稳健部署。

“简单地‘拒绝’或‘阻止’有偏见的数据以确保公平性是不可行的，”舒说。“因此，我们需要开发有效的人工智能算法来对有偏见的数据进行建模，以减少不同人群之间的不公平性，同时保持预测性能。”

舒说，另一个目标是开发一种新方法，能够在男性和女性之间实现相当的准确率，而不会损失太多的整体准确率。

例如，在使用电子健康记录数据预测糖尿病时，机器学习方法的总体准确率可能达到85%。然而，它可能对男性患者的准确率为70%，而对女性患者的准确率为90%。

研究的最终目标是开发有效的解决方案，以确保在泛化、隐私和鲁棒性挑战下实现公平性。

舒说，他的CAREER项目旨在通过提高人工智能算法所产生结果的公平性来确保其可信度。这将使得少数群体用户能够获得与多数群体用户相似的结果。它还会在实现公平性预测时保护用户隐私，从而确保用户的敏感信息安全。这项工作还将揭示在使用大型语言模型进行现实应用时被忽视的潜在风险。

该项目在实现现实世界中的公平性时所面临的多维度挑战包括泛化、隐私和鲁棒性。现有研究主要关注在改进的公平性指标和保持预测性能之间找到良好的平衡。然而，构建既可以应用于不同领域，又能保护隐私并抵御潜在恶意攻击的公平性人工智能模型更具挑战性。

“我对这个项目感到非常兴奋，因为它不仅将推动可信人工智能的基础研究，还将促进公平的人工智能在现实世界中高风险应用中的部署，”舒说。“人工智能无疑是最重要的技术革命。然而，通过预见安全、隐私和安全性方面的潜在风险，确保其可信度和可靠性变得尤为重要。”