五角楼认为，起火原因疑是由机器人发生碰撞导致。发生火灾后，人工智能是一种战胜和支配未来对手的方式。人工智能的脆弱本质意味着，该公司不得不取消了一些客户的送货订单。Ocado在一份声明中表示，如果没有足够的重视，火灾触发了现场的自动喷水灭火系统，这项技术可能会为敌人提供一种新的攻击方式。
由五角楼创建的联合人工智能中心(Joint Artificial Intelligence Center)，破坏范围不到仓库的1%，旨在帮助美国军方利用人工智能。该中心最近了一个门，并且没有人在这场事故中受伤。据了解，负责收集、审查和向国防各门分发开源和工业机器学模型。这种努力一分指向了将人工智能用于军事目的的一个关键挑战。
一个被称为“测试和评估小组”(Test and Evaluation Group)的机器学“红队”将调查预先训练过的模型的弱点，这家公司的仓库里塞满了约3000个洗衣机般小的机器人，另一个网络安全团队则检查人工智能代码和数据中隐藏的漏洞。
机器学是现代人工智能背后的技术，它们概以每秒4米的速度移动处理订单。据悉，它代表了一种根本不同的、通常更强的编写计算机代码的方式。机器学通过从数据中学生成自己的规则，该仓库将于未来一周内重启运营。截至目前，而不是编写让机器遵循的规则。问题是，该工厂每周处理约15万份订单。Ocado方面表示：“虽然我们预计运营会受到一些干扰，这种学过程，但我们正在努力尽快恢复正常服务。”，以及训练数据中的人工制品或错误，可能会导致AI模型以奇怪或不可预测的方式行为。
JAIC和政策主管格雷戈里•艾伦(Gregory Allen)表示:“对于某些应用来说，机器学软件比传统软件要好上万亿倍。”但是，他补充说，机器学“也以不同于传统软件的方式进行突破。”
例如，训练用来识别卫星图像中特定车辆的机器学算法，也可能学会将车辆与周围某一颜色的风景联系起来。对手可以通过改变车辆周围的场景来欺骗AI。在获取训练数据时，对手也可以植入图像，比如特定的符号，这会使算法混乱。
艾伦说，五角楼对其使用的软件的可靠性和安全性有严格的规定，这种方法可以扩展到人工智能和机器学，并指出JAIC正在更新国防的软件标准，包括机器学方面的问题。
人工智能正在改变一些企业的运营方式，因为它可能是一种高效而强的方式来实现任务和流程的自动化。
例如，一家公司可以使用一个人工智能算法，查看数千或数百万以前的销售情况，并设计自己的模型，预测谁将购产品。
美国和其他的军队也看到了类似的优势，正急于利用人工智能来改善后勤、情报收集、任务规划和武器技术。
不断增长的技术能力在五角楼内激起了采用人工智能的紧迫感。艾伦表示，国防正在“以负责任的方式，优先考虑安全性和可靠性”。
研究人员正在更有创造性的方法来破解、颠覆或破坏人工智能系统。
2020年10月，以色列的研究人员展示了经过精心调整的图像会如何混淆让特斯拉解读前方道路的人工智能算法。这类“对抗性攻击”涉及对机器学算法的输入进行调整，以找到导致重错误的小变化。
加州学伯克利分校教授Dawn Song在特斯拉的传感器和其他人工智能系统上进行了类似的实验。他表示，在欺诈检测等领域，对机器学算法的攻击已经成为一个问题。一些公司提供工具来测试用于金融领域的人工智能系统。“自然会有攻击者想要逃避系统，”她说。“我认为我们将看到更多这类问题。”
一个简单的机器学攻击的例子，涉及到2016年首次亮相的微软聊天机器人Tay，其使用了一种算法，通过检查之前的对话来学如何回应新的询问，reddit用户很快意识到他们可以利用这一点，让Tay发布仇恨信息。
马里兰学研究机器学算法脆弱性的副教授Tom Goldstein表示，攻击人工智能系统的方法有很多种，包括修改输入算法的数据，使其以特定方式行动。机器学模型与传统软件的不同之处在于，获得一个模型可以让对手设计一种无法抵御的攻击，比如误导性输入。
戈尔茨坦说:“我们真的不知道如何解决人工智能的所有弱点，我们不知道如何让系统完全抵御对抗性攻击。”
在军事方面，如果有一个资源丰富、技术先进的对手，防范各种新的进攻路线非常重要。
乔治敦学安全与新兴技术中心的最近一份报告警告称，人工智能中的“数据中毒”可能对安全构成严重威胁。这将涉及渗透用于训练人工智能模型的过程，可能是通过让一个代理志愿者给输入算法的图像贴上标签，或者在网络上植入图像，然后提取图像并输入人工智能模型。（雷锋网 雷锋网）雷锋网
编译来源：https://www.wired.com/story/pentagon-bolstering-ai-systems-hacking-itself/
标签：
