内容摘要:

本报告回顾和组织了由各种公司、国际组织、政府机构和非政府组织提出的40多个现有的人工智能框架,并将它们映射到矩阵中,以帮助各组织能以最适合其需求的方式更好地理解、选择和实施人工智能技术。报告中的表格均以用户为重点,以满足人工智能组织内最直接参与实施框架的开发和生产团队以及治理团队。为了帮助这些用户选择最能满足他们需求的框架,该矩阵增加了一个效用维度,后者能够根据他们各自的重点领域对框架进行进一步分类。该矩阵也同时提供了一种有条理的方式来思考该框架的受益者,这有助于各组织准确地应用框架并了解每个框架相对于现有指导方针的效用。

针对负责任的人工智能的模型

表1和表2展示了该类模型。这些表格显示了几种类别组合的框架的名称,这些名称以用户和实用程序维度来归类。表格中的灰色单元格表示没有找到该特定类别组合而成的框架。如果有组织需要此类框架,其可以尝试将矩阵中的其他框架混合在一起,以产生实现类似效果的混合工具。组织也可以寻找新的框架,或者创建自己的框架。

表1显示了属于用户维度的两个类别和实用工具维度的各个类别的框架。由于空间限制,许多框架的名称为简写。

表2显示了属于用户维度和实用工具维度各类别之间的交互框架。

用户维度

用户是在构建或使用人工智能系统的组织内负责实现框架的人员。虽然他们通常不是人工智能系统的最终用户,但他们也可以是该类用户。我们将用户分为了两类:开发生产团队以及治理团队。开发生产团队通常包括工程师、产品经理、数据科学家、领域专家和用户研究人员。因此,最适合这些角色的框架往往侧重于为人工智能系统设计、工程、操作、维护或监控步骤提供信息或建立必要过程。

负责实施特定框架的开发生产小组成员的任务可能是了解模型对不同输入的敏感性,或在注释数据时考虑相关的人口统计信息。

治理团队通常包括担任管理角色的个人或组织的所有者。然后,最适合治理团队的框架需要拥有处理监督或管理等功能。根据该框架的指导,治理小组的任务可能是让公众对内部审计系统发表意见,管理第三方审计员关系,或评估内部审计系统对供应链的影响。

实用工具维度

一旦确定了框架最合适的用户,实用程序维度就可以帮助确定满足其特定需求的框架。该维度将框架组织为三个类别:组件、生命周期和特征,每个类别满足不同的需求。表1和表2的三列包含属于一个或多个公用事业维度类别的框架。这些类别并不是相互排斥的,因此单一框架可以同时属于多种类别。表3突出显示了每个实用程序类别的用处。

同时兼顾用户维度和公用事业维度

用户维度和实用程序维度一起使用时最有效。有了足够的组织投入和资源,该矩阵可以鼓励跟踪团队成员从系统开始到退休的不同部分的参与情况,以及界定团队成员行动所服务的目标。表4的热值显示了从用户和实用程序维度归入类别组合的框架数量。特征框架的数量相对较多,很可能是因为问责制和稳健性等理想特征在形成关于负责任的行政权力的讨论方面具有突出作用。属于组件和生命周期类别的框架则面向不同的用户。汇总表中只侧重于组件的框架可能只适用于开发和生产团队,因为分解和分析人工智能系统各部分所需的技术知识水平超过了典型的治理团队成员。例如,数据科学家可能最好准备好执行数据依赖关系的文档和模型信息表的前处理步骤。该步骤属于组件类别的框架。另外,仅属于生命周期类别的框架可能与治理团队最相关,因为在构建、修改或删除AI系统之前,可能需要确保来自管理层的支持。在DIU的负责任人工智能指南中概述的规划、开发和部署阶段提到,生命周期框架可能需要治理团队的利益相关者签署系统成功措施的适当性,批准回滚过程,分配变更管理的责任,并最终确定系统是否在操作上有用。

表4显示了属于用户维度和实用工具维度类别组合的框架的数量。治理、开发和生产框架主要集中在特征类别中。下面的用例说明了不同的用户如何利用这个矩阵。

发布时间|2023年6月

文章来源|美国安全与新兴技术中心

原文标题|A Matrix for Selecting Responsible AI Frameworks

原文地址|https://cset.georgetown.edu/publication/a-matrix-for-selecting-responsible-ai-frameworks/(35页)

Last modified: 2023年 7月 11日
Close