在当今人工智能驱动的世界中,一个仍处于阴影之下的重要问题是缺乏透明度。人工智能的透明度对于建立对人工智能系统的信任至关重要,尤其是那些用于高风险应用的系统。如果利益相关者能够清楚地了解人工智能系统是如何工作的,他们就更有可能信任其决策。
斯坦福大学、麻省理工学院和普林斯顿大学的研究人员通力合作,对基金会模型开发人员的透明度进行了全面评估,发现了一些值得注意的问题。这评估 该报告由第三方专家进行,揭示了人工智能行业的透明度状况。
通过评估发现,即使是基础模型开发者中得分最高的模型,也只获得了 54 分(满分 100 分),这凸显了该行业从根本上缺乏透明度。
资料来源斯坦福 MFRC
所有开发商的平均得分仅为 37%。令人吃惊的是,在 100 项指标中,只有 82 项指标至少有一家开发商达到了要求,这说明透明度标准还有待提高。有趣的是,开放式基础模型开发商成为领跑者,三家中有两家得分最高。这些领先的开发者允许下载他们的模型权重,为透明度设定了基准。稳定性人工智能虽然不是开源的,但紧随其后,排名第四。
综合评估确定了 100 项指标,分为三个关键领域:
上游: 在建立基础模型方面,这包括计算资源、数据和劳动力。值得注意的是,开发人员在数据、劳动力和计算子领域的表现不尽如人意,得分率分别仅为 20%、17% 和 17%。
型号 该领域侧重于基础模型的属性和功能。开发人员在用户数据保护(67%)、模型开发(63%)、能力(62%)和局限性(60%)等方面表现出透明度。
下游: 该领域深入研究模型的分布和使用情况,反映模型如何影响用户、更新和管理政策的透明度。
资料来源斯坦福 MFRC
资料来源斯坦福 MFRC
虽然开发者在各个子领域表现出一定程度的透明度,但仍有很大的改进空间。例如,没有一家开发商披露他们是如何提供使用数据的。很少有开发者公开承认其模型的局限性或允许第三方评估。同样,只有三家开发商披露了模型的组成部分,只有两家开发商披露了模型的大小。
人工智能界一直在争论模型应该是开放的还是封闭的。开放模型优于封闭模型,三个开放模型中有两个甚至超过了最好的封闭模型。这种差距在很大程度上源于封闭式开发者,尤其是上游领域的开发者在数据、劳动力和计算细节方面缺乏透明度。
资料来源斯坦福 MFRC
文章就人工智能对社会的影响提出了一些重要问题。聊天机器人提供错误医疗建议的频率有多高?人工智能搜索引擎是否曾诬告个人有不法行为?用户是否会接触到人工智能生成的带有偏见的内容?可悲的是,这些问题往往没有答案,这凸显了透明度的必要性。此外,人工智能还可能通过创建明确的内容、宣传错误信息和生成不受欢迎的内容来造成危害。所有这些情况都需要透明度。
因此,透明度报告应定义和检测危害,披露有害内容的频率,并评估执行机制和安全过滤器的有效性。这对通用和高风险的人工智能应用至关重要。
公司可能出于各种原因抵制透明度报告,包括潜在的声誉和法律风险。然而,从长远来看,缺乏透明度会损害公司的声誉。此外,市场过于集中,增加透明度对消费者和整个市场都有好处。
最后,如果人工智能公司不能自愿接受透明度,政策制定者可能不得不介入以确保问责。