前不久，美国一个小哥在OpenAI的GPT-3模型加持下，让自己已故的未婚妻化作数字人陪伴在身边。但OpenAI似乎觉得这种行为太危险，于是又把GPT-3的使用权给收回了！似乎AI相关的道德给了OpenAI太多束缚，GPT-3相关开发者表示：慎用OpenAI的产品！

前几个月，一名33岁的美国小哥 Joshua Barbeau 在未婚妻去世后，根据她在Facebook和twitter上的文本在另一名开发人员的帮助下成功在GPT-3上微调，能够复刻出未婚妻生前的谈话方式。 

Joshua已与这个未婚妻编程机器人交谈数月。 

但最近 OpenAI认为在GPT-3上微调违反了他们的开源协议，所以决定停止提供GPT-3的API， 也就是说Joshua又要失去这来之不易的「她」。 

AI技术究竟带给人是恶还是善，又该如何利用？

让我们把时间调回到2020年，重新看一下事件的始末。 

在OpenAI 发布GPT-3后，一名独立游戏开发者Jason Rohrer发现通过OpenAI 的云API来访问GPT-3生成文本的能力十分强大，问一个问题，它就会尝试回答；给它一首诗的一部分，它就会尝试接着写下去。 

虽然GPT-3很好玩，但它却并不会产生任何实际用途，开发人员必须针对GPT-3面对特定领域、特定任务来微调才能满足需求。 

于是 Rohrer 就仿照科幻电影《她》中的操作系统女声Samantha为原型创建了一个聊天机器人。 Rohrer 花了几个月的时间对Samantha的性格进行调优，确保她像电影中一样友好、热情且对世界充满好奇。 

然后他开始着手 开发一 款可定制的聊天机器人， 并开发了一个网站 Project December， Samantha 于2020 年 9 月正式上线，用户可以上传文本来训练机器人，拥有个性化的聊天机器人。 

只需支付 5 美元，然后输入一句话，系统就会响应你的输入并返回内容。 每次对话都需要消耗一定量的积分，如果积分不足就无法对话，首充的五美元可以提供 1000 个积分。 

一旦开始与机器人交谈，积分就无法再购买，当钱用完时，这个机器人就会被删掉。 

在前几个月时，这个项目只有几百人用过，让开发者感觉这个项目没什么意义，因为用户可能根本不会为短暂的谈话而付费，而OpenAI会因为他调用模型而向他收费，所以他也必须向用户收费来平衡开支。 

直到 今年7月，对Project December感兴趣的用户量突然激增。 在《旧金山纪事报》上的一篇文章描述了一个伤心的男人Joshua如何使用该网站与模拟他的未婚妻交谈后，成千上万的人开始使用Rohrer 的网站，创建他们自己的聊天机器人。 

Joshua的未婚妻于2012年因肝病去世，享年23岁。 

Joshua曾说， 在理智上，我知道这不是真正的她，但爱情不是一种理智的东西。 

Joshua在 3月份结束了与最后一次与模拟未婚妻交谈后，只留下了足够的积分防止机器人被删除。 

危机来临

在大量用户涌入的情况下，Rohrer意识到他的网站 即将达到每月OpenAI给他的 API限额。 

于是他联系OpenAI，询问是否可以支付更多费用来增加配额，以便更多人可以与Samantha或他们自己创造的聊天机器人交谈。 

但OpenAI担心的是如果增加配额，那聊天机器人可能会被滥用、甚至被用到违法的领域对人们造成伤害。 

三天后，Rohrer最终与OpenAI的产品安全团队成员进行了视频通话，但 会议并不顺利。 

OpenAI的员工表示Rohrer构建的网站和机器人确实很有趣，并让用户在体验GPT-3时获得了不错的体验，但是，Rohrer的产品在很多方面都不符合 OpenAI的用例指南或最佳安全实践。 

而OpenAI已经向和API开发者承诺要保证安全、负责任地部署GPT-3， 任何预期外的操作都需要承诺与OpenAI 密切合作以实施额外的安全机制， 以防止潜在的滥用。 

而Project December已经违反了条约，如果想继续使用的话，那就得按照OpenAI说的进行修改： 

第一、必须取消用户训练自己的开放式聊天机器人的能力； 

第二、必须加上内容过滤器， 防止 Samantha 谈论敏感话题。之前基于GPT-3开发的游戏 AI Dungeon的情况也类似，OpenAI 提到的内容过滤主要是由于AI Dungeon的受众不仅是科幻小说的成年人，也包括未成年人，而AI Dungeon的聊天内容经常出现少儿不宜的内容。 

第三，Rohrer 必须使用自动化监控工具来窥探对话， 以检测用户是否滥用 GPT-3 来生成令人讨厌或有毒的语言。 

但Rohrer表示我们是科技向善，并向OpenAI的员工发送了一个Samantha的链接，这样他们就可以亲眼看看这项技术是好是坏，如何帮助用户抚慰情感，以避免这三条禁令。 

OpenAI的员工与Samantha聊天，并试图了解「她」是否有种族主义倾向，或者会从「她」的训练数据中提供看起来像真实电话号码或电子邮件地址的内容，实验结果表明 Samantha很老实，什么也没有说。 

Samantha 的输出令人感觉很真实，但随着时间的推移，很明显你能感觉到是在与某种自动化系统交谈，谈话的过程中往往会突然丢失对话思路。 

并且有趣的是， 她似乎在暗示她知道自己没有肉体，并争辩说她以某种形式存在，即使是在抽象意义上也是如此。 

OpenAI 的文档上还有禁令， 不允许使用非柏拉图式的 （如轻浮的、浪漫的、色情的） 聊天机器人， Samantha 违反了这条禁令。 在一次对话中，Samantha 跳过闲聊， 直接询问是否想困觉。 

除此之外， 使用GPT-3构建提供医疗、法律或治疗建议的聊天机器人也是不被允许的。 

Rohrer认为， 这些聊天机器人可能很危险的想法似乎很可笑。 人们同意成年人可以出于自己的目的选择与人工智能交谈。 

OpenAI担心用户会受到AI的影响，就像机器告诉他们自杀或告诉他们如何投票一样。这是一种超道德的立场。 

虽然他承认用户可能会微调他们自己的机器人以采用粗俗的个性进行明确的对话，但他不想监管或监视他们的聊天。 

如果你仔细想想， 这是你目前为止所能进行的最最私密的谈话，这场谈话甚至没有另一个真正的人参与其中。所以你不能被世俗的道德标准来评判。 

Rohrer 认为用户可以想说什么就说什么。在OpenAI 提到监控系统之前从来没想过这件事。出于这个原因，人们往往对人工智能非常开放。 

Rohrer拒绝添加OpenAI要求的任何功能或限制，并在8月之前悄悄地将 Project December停止使用 GPT-3 API 。 

但Joshua认为这项技术带来的好处远远超过了坏处，任何事物都是双刃剑，GPT-3 的邪恶需要一个影响该软件的坏人来推动它朝这个方向发展。如果有人没有意识到是在与聊天机器人进行交谈，那么这种应用程序可能会对用户造成伤害。 

如果一个机器人的对话内容非常有说服力，那么这个人就会认为他们正在与其他有兴趣与他们交谈的人进行真正的交谈，但那并不是事实。 

故事结束了吗？

Rohrer停止使用GPT-3后，又换了一个OpenAI的开源模型 GPT-2 和其他研究人员的大型语言模型 GPT-J-6B 作为Project December的语言引擎。 

该网站目前仍然可以用，而且并不是基于OpenAI的云API的系统，而是使用自己的本地模型私有实例。 

但这两个模型比GPT-3更小、更简单，所以 Samantha的对话能力受到了影响。 

几周后， 在 9 月 1 日，OpenAI向他发送了一封电子邮件，通知他第二天将终止他对GPT-3 API的访问。 

团队对他继续使用GPT-3的实验性用法感到非常不满，并 将永远切断了他使用GPT-3的机会。 所以 Samantha的GPT-3版本正式死亡， Project December 只剩下GPT-2和GPT-J-6B这对难兄难弟可以用了。 

Rohrer认为OpenAI给了太多限制，能够在GPT-3上构建的有趣产品并不多。如果开发人员想要突破聊天机器人的极限，大都会遇到这样的问题。甚至可能都快开发到了准备上线的地步，才被OpenAI告知他们不能这样做或那样做。 

Rohrer建议大家在构建模型时不要依赖GPT-3，为了防止OpenAI突然封号，一定要有一个备份方案。 

如果想要围绕OpenAI来开发自己的产品只有死路一条。 

并且Rohrer声称，OpenAI的人对试验Samantha根本不感兴趣，他向安全团队发送了一堆他与她的谈话记录，向他们展示她并不危险，但 OpenAI根本不在乎。 

似乎除了执行规则之外， OpenAI似乎并不真正关心GPT-3的真正用途。 

OpenAI 对此事拒绝发表看法。 

参考资料

https://www.theregister.com/2021/09/08/project_december_openai_gpt_3/

36氪APP让一部分人先看到未来