当你的队友是台机器：CISO应该问的八个和AI相关的问题

2023-08-09 16:19:10 来源 : 企业网D1Net

AI正在改变我们做几乎所有事情的方式——无论我们走到哪里，机器都在执行过去由人类完成的任务。这些AI驱动的实例涵盖了从自动驾驶汽车到客户服务机器人的各个领域，这些机器人必须在人类上线之前进行导航。在网络安全领域，AI已迅速成为攻击者的朋友和力量倍增器。无论你喜欢与否，将机器视为队友已成为既定现实，CISO必须学会接受，但他们在接受AI伙伴之前应该问一些问题。

(资料图)

这个概念并不新鲜。2019年，一个由65名协作科学家组成的国际团队就该主题提出了819个研究问题，目的是“提供一个研究议程以供协作研究人员调查设计的机器队友的预期效果。”毫无疑问，来自协作科学家团队的一些研究要点被纳入了美国国防部“负责任的AI”原则和指南，其中概括了任何AI在使用前必须具备的五大要素：负责任、公平、可追溯、可靠和可治理。

让AI做你的僚机

要想象AI作为行动中的队友的概念，人们只需看看美国空军的计划，即通过将F-35多用途战斗机与作为自主僚机的战斗无人机配对，来提高其效率。与AI增强的无人机一起工作，这架飞机可以以超出人类能力的速度收集信息。这使得通过观察、定位、决定、行动(OODA)循环的行动兼具速度和灵活性，这反过来又使实时信息的接受者变得更加娴熟。

StrikeReady首席执行官Anurag Gurtu表示，AI将有效地成为自动化流程的延伸，以发现更广泛的信息，并帮助以越来越快的速度评估复杂性。当CISO希望提高生产力、增强熟练分析师的能力、减轻部分工作量并留住员工时，AI的效果无疑是最好的。

AI帮助加快决策进程

Gurtu补充道，AI还能帮助加速决策过程，增强检测工作，并为分析师提供被攻击的事件概率。在过去，决策树和基于规则的模型使威胁和漏洞检测成为一个相当费力的过程，但有了AI，我们可以引入不同的数据集，提高分析师的“可解释性”。LIME(local Interpretable model-agnostic explanations)和SHAP(Shapley Additive explanations)都有助于解决“可解释性”的苦差事。

Gurtu表示，“越来越多的实体正在整合生成式AI，他们必须为‘幻觉’的增长做好准备，随着越来越多的实体这样做，大规模的幻觉即将到来。避免在生成式AI的结果中产生‘幻觉’的方法是使用图形AI语言模型。”

为了说明这一点，我们只需看看最近一位律师在AI聊天机器人的帮助下向法院提交的摘要，当它找不到现实世界的例子时，它会“幻觉”出不存在的案例。这导致法官发布了一项长期命令，即使用AI创建的任何摘要都必须由人类进行识别和验证。Gurtu认为，“利用图形方法，AI为用户提供了极大的能力去理解上下文。如果没有这些，结果将是大量的幻觉。”

机器队友需要与人兼容

几乎所有行业最终都会受到AI的影响，并与机器成为队友。在2022年8月发表的《心理学前沿》(Frontiers In Psychology)文章中，作者指出，人类团队的成功必须要有有效的团队合作。其中，领导力、解决冲突能力、适应能力和后援行为等因素已被确定为成功的团队合作的关键方面。

作者推断，要解决未来的人机团队问题，将在一定程度上取决于机器代理，这些机器代理被设计成能够成功地促进和参与与人类队友的团队合作。

在AI的背景下，信任仍然是一个主要的考虑因素。有多少实体将确保首席信任官(chief trust officer)的责任包括在产品和业务中以道德和负责任的方式使用AI?当AI犯错误时，谁报告错误?谁来纠正错误?如何衡量机器和人类队友之间的信任关系呢?

每个CISO都应该问的AI相关问题

IEEE成员、咨询公司The Privacy Professor的创始人Rebecca Herold表示，将AI纳入安全技术有许多潜在的好处：简化工作以缩短项目完成时间，能够快速做出决策，更迅速地发现问题。

但是，她补充说，也有很多不成熟的例子被采用，买家最终会一头扎进AI池的最深处，而没有仔细考虑AI是否像承诺的那样工作。当有缺陷的AI产生错误结果，导致隐私泄露、偏见、安全事件和违规罚款时，那些使用AI的人会突然意识到AI的阴暗面。

为了获得准确、无偏见、隐私保护和符合数据保护要求的结果，建议每个CISO都应该询问以下8个问题：

1. 是否进行了全面的测试以确保AI算法按预期工作?要求制造商和/或供应商提供确认此类测试的文件，并确认所使用的标准和/或框架。例如，NISTAI风险管理框架(AI RMF 1.0)。

2. 用于训练AI的数据从何而来?如此等资料包括个人资料，有关人士必须同意将其个人资料用于此等目的。

3. 为了防止或尽可能减轻结果中的偏见，该AI算法是如何设计的?要求查看记录的结果。

4. 该算法是如何设计的，以减轻与生成式AI相关的新的和具有挑战性的风险?要求查看有关他们计划的文档，以便在持续的基础上进行管理。

5. 供应商是否全面解决了与机器学习相关的安全问题，如果是，是如何解决的?要求查看文档化的政策和程序。

6. AI的设计是否考虑了AI系统攻击表面的复杂性，如果是，以何种方式?要求提供文档以验证所提供的信息。

7. 如何审查供应链和第三方AI组件的安全和隐私风险，然后减轻风险?确保有一个持续的AI供应链和第三方风险管理流程。

8. AI制造商或供应商开发的AI产品是否符合其销售地区的数据保护要求?

Herold补充道，仅仅相信销售团队的说法是不够的，一个人必须培养自己的能力，找出棘手问题的答案，或者找到既值得信赖又有能力的第三方。

当AI成为合作伙伴时，人类必须加以引导

投资者兼演说家Barry Hurd表示，当机器成为团队成员时，人类必须承担机器决策的责任。他表示，“与AI团队合作需要专门的人才来优化工作关系，而非破坏工作关系。人类天生就不像机器那样有足够的容忍度。在科幻电影中，机械臂与虚弱的人体相比是坚不可摧的，我们的逻辑和决策能力与AI团队成员的处理速度相比也同样脆弱。”

Hurd指出，无论我们的行为是对还是错，机器都会使我们的行为成倍增加。规模和速度需要与我们人类的反应时间保持平衡，以保持道德、合规的行动时间。大规模的AI意味着在广泛的部门领域可能会造成大规模的附带损害。

Hurd称，“一旦决定采取行动，在我们能够再次猜测刚刚发生了什么之前，行动就会结束。然而，与一群了解如何实现有效倍数的有才华的人类合作伙伴配对，就可以形成一种共生关系，在这种关系中，批判性思维、主题专业知识和道德与有计划的行动和规模自动化保持平衡。在这一点上，风险可以最小化，效率可以倍增。最优秀的人才会创造出最好的技术，反之亦然。”

Gurtu补充道，当AI队友做出决定时，人类队友还必须要能解释为什么做出这种决定。

标签：

当你的队友是台机器：CISO应该问的八个和AI相关的问题

推荐文章

最新资讯

精彩图文