前沿人工智能伦理：当算法开始假装理解善恶

生成式代理将以奇特、美妙且令人担忧的方式改变我们的社会。哲学能帮助我们掌控它们吗？

大约一年前，生成式人工智能席卷全球，强大的大型语言模型（LLMs）在比以往任何时候都更广泛的领域实现了前所未有的性能。尽管LLMs如OpenAI的GPT-4和Google的Gemini最出名的是生成令人信服的文本和图像，但它们作为集成额外工具以了解世界并采取行动的复杂系统的执行中心，可能会产生更大的社会影响。这些生成式代理将推动新型社交关系的出现，并改变现有的社交关系。它们可能会彻底改变注意力经济。而且，它们将彻底革新个人计算，使每个人都能仅通过语言控制数字技术。

人们对生成式人工智能系统的关注主要集中在它们如何复制已经广泛部署的人工智能系统的病理，认为它们集中权力和财富，忽视版权保护，依赖剥削性劳动实践，并消耗过多资源。其他批评者则强调，它们预示着未来可能威胁人类生存的更强大系统。第一组人说这里没有什么新东西；另一组人则透过现在展望一个可能遥远的未来。

相反，我想关注这些特定系统的独特之处：它们卓越的科学成就，以及它们在未来五到十年内最有可能且最有影响力的改变社会的方式。

首先回顾一下LLMs的工作原理以及如何使用它们来制造生成式代理可能会有所帮助。LLM是一个大型人工智能模型，通过大量数据和计算资源（大量GPU）进行训练，以预测给定单词序列（提示）的下一个单词。这个过程首先将训练数据分割成大小相似的“令牌”（单词或单词的一部分），然后对于给定的一组令牌，屏蔽其中一些，尝试预测被屏蔽的令牌（因此模型是自监督的——它自己标记自己的工作）。通过将预测模型传递给神经网络的许多层，每一层都在某个维度上完善模型，使其更加准确。

这种方法用于建模自然语言已经有几年了。一个关键的近期创新是采用这些“预训练”模型，它们基本上擅长根据单词序列预测下一个令牌，然后针对不同任务进行微调。这是通过使用标记数据进行监督学习来完成的。例如，您可以使用许多对问题的有帮助的响应示例来训练预训练模型成为一个优秀的对话代理。这种微调使我们能够构建不仅能够预测最可能的下一个令牌，而且能够预测最有帮助的令牌的模型——这要实用得多。

当然，这些模型是在包含大量有毒和危险内容的互联网数据集上训练的，因此它们的帮助性是一把双刃剑！如果被问到，一个有帮助的模型会乐于告诉你如何制造炸弹或自杀。另一个关键创新是使这些模型不太可能分享危险信息或生成有毒内容。这是通过监督学习和强化学习来实现的。从人类反馈中进行的强化学习（RLHF）被证明特别有效。在RLHF中，简化来说，模型针对给定的提示生成两个响应，人类评估者根据某些标准确定哪一个更好。强化学习算法使用该反馈来构建一个预测器（奖励模型），用于预测不同完成情况将如何被人类评分者评估。然后，指令调整的LLM在该奖励模型上进行微调。使用AI反馈的强化学习（RLAIF）基本上做同样的事情，但使用另一个LLM来评估提示完成情况。