AI前沿研究讨论：展望与挑战

AI的未来展望与研究方向

• 我是微软研究部的Ashley Loren，我的团队致力于孵化新兴技术，并通过项目将我们在微软研究领域的工作与更广泛的研究社区联系起来。我与研究领导人AJ Kamar、Amed Aalah和Sebastian Bubeck坐下来探讨人工智能领域中一些最激动人心的新领域。我们讨论了他们对人工智能的期望、他们正在押注以实现这些目标的研究方向，以及他们的团队如何以不同的方式工作以迎接这一时刻。让我们深入探讨一下，我们正处于人类技术的转折点，在这个时刻，可以说机器开始展现普遍智能的火花，即使你想要保持冷静，也很难避免这种热情。作为研究人员，我们也是持怀疑态度的，我们会深入研究技术的局限性和能力，因为正是这些限制揭示并定义了我们要推进的前沿。首先，我想从这里开始勾勒一下这些前沿，我想听听你们对人工智能的期望是什么，以及为什么技术现在还无法实现这一点，然后我们将回到你们正在押注的研究方向，以弥合这些差距。

AI的未来展望与研究方向

文本数据的重要性与训练模型发展

• 教科书是所有你需要的，所以教科书是所有你需要的。这当然是对于机器学习史上最著名论文的调侃，《注意力机制：全你需要的》介绍了Transformer架构的注意力机制。因此，在教科书中我们需要的是数据，如果你处理数据并生成了符合教科书标准的数据，那意味着您可以获得千倍的收益。文本数据的关键质量是什么？总结起来就是在文本中的推理量有多大，如果要预测文本中的下一个单词，您可以提取出什么样的概念。我们想要的是推理密集型的文本，而小说并不总是推理密集的。有时您可能需要进行一些推理才能理解角色之间的关系，为什么他们想或做某事，但在哪里有真正推理密集的文本？那就是教科书。近期，我们已经开始谈论了不同的预训练方法以及类似于教科书的推理令牌等后训练方法领域的广阔空间，也讨论了研究的方向和未来的探索空间。

文本数据的重要性与训练模型发展

建设智能金字塔：拓展人工智能前沿

• 在模型库中共存的第二层是由鲸鱼团队进行的所有工作，通过微调专业化，提高能力，取得领域，采取一些约束并尝试看看，我有这些基础模型，但如何让它们在我真正关心并且能更好控制这些模型为我生成的不同领域和能力上发挥更好的作用，这是智能金字塔中的第二步。我们的团队一直在做一些非常有趣的示范和构建，试图了解编排在智能金字塔中扮演的角色。当我们考虑最简单的完成任务的方法是使用基础模型或专业模型的今天，我只是告诉它做某事，然后它会为我做某事，但这就是我们将要用这些模型构建的方式的终结吗？答案是否定的，实际上我们的团队一直在做的一个工作集合被称为autogen和这个库在开发者社区中变得非常流行，我们很高兴看到我们得到的响应，我想在一个月内我们在GitHub上用这个实验库获得了15000颗星。开发者社区对我们的团队的工作做出了很多反馈，但我们看到的是人们想要用这些模型做的种种事情，当他们想要拓展这些能力边界，当他们想要有更强大的执行力，当他们希望真正克服提示和模型策略的脆弱性时，实际上他们会转向编排，事实上他们会转向多代理编排。多代理编排是指想象一下你有一个复杂的任务，你不能仅仅通过提示来可靠地完成，即使是我们在家族中最好的模型也不行，但你可以做一些类似于人类工作的东西，实际上我们将一个复杂的问题分成较小的部分，然后将这些较小的部分分配给具有不同能力的不同人，这正是autan框架的工作原理，它将一个复杂的任务分割成较小的部分，并分配不同的部分给不同的代理，这意味着可以提示不同模型的智能，使用不同策略和角色，并让它们协同工作。我们看到的是，这个非常简单的多代理编排思想在建模方面正在发生的所有伟大工作之上又增加了一层，这可以真正推动前沿。在我们的组织中正在做的一件事是真正理解这些联系，FI与Orca与autogen之间的关系是我们正在打造这个金字塔的一部分，但还有一件事我们正在押注，我相信这将变得非常重要，因为这些系统将成为现实世界的一部分，正如Ahmed之前提到的那样，当我们进行AGI工作时，有一点我们在介绍时提到，即任何智能系统的核心需要学习，需要从环境中学习，需要从他们正在进行的互动中学习，这实际上是我们当前没有的，即使在最好的模型或世界上最好的人工智能系统中也没有，它们是静态的，它们可能每天与数百万人进行互动并从中获得反馈，或者看到人们如何对其做出回应，但这并不会使这些系统中的任何一个变得更好或更聪明，或更好地理解他们的用户。因此，我认为这是我们必须非常强烈推动的一个领域，我们如何以一种透明、可理解和可靠的方式将学习反馈环结合到这个智能金字塔的每个部分中，以便我们正在构建的系统不仅因为类似于Sebastian和Ahmed这样的专家花费了大量时间进行数据收集和当然需要这样的工作，并且提出了使模型变得更好的新想法，但我们实际上为我们的系统创造了这种良性循环，让它们随着时间的推移变得更好。我们正在推动的最后一个研究想法实际上是跨整个栈非常统一的一个问题，我正在谈论在AI进展如何看待今天，就像我们正在做所有这些伟大的工作，但AI系统或我们正在构建的模型的能力是如何随着模型规模的扩大和我们拥有更多数据而发展的，这真正成为一个关于评估和理解的问题。

建设智能金字塔：拓展人工智能前沿

AI安全是研究领域的前沿挑战

• 把研究成果转化为产品的过程中，AI安全性变得尤为重要，微软内部称之为负责任的AI。从将研究资产转化为产品，甚至到发布一篇论文以及在GitHub上分享研究成果，都需要充分考虑AI安全性。特别是在开源项目像Orca这样时，如何确保安全性成为一个首要问题。我们会经过一系列严格的测试流程，以确保研究资产的安全性，这比以往将产品发布更加严格认真。我们对Orca进行了早期研究，当时并没有制定这种严格的安全流程，因此我们实际上从未公开发布它，因为一旦我们写了论文并发现

AI安全是研究领域的前沿挑战

推动负责任人工智能发展的努力

• 我们做了一些有趣的事情，希望释放出来，因为我们想与研究社区分享，希望研究社区能够在此基础上继续努力。但是，我们没有清晰的故事来说明如何安全释放它，所以我们花了一些时间与公司其他部门合作，制定了非常严格的流程，在发布之前，所有内容都必须经过这个流程。尽管如此，我认为我们仍在学习如何评估和衡量安全性，衡量安全性意味着什么。这并不像一个勾选框，我们解决了问题，就此打住，我们正在做的是，我们对此感到自信，并将其发布出去。公司内有大量团队，无论是产品团队还是研究团队，始终在努力完善这些流程，以确保我们不断提升对模型安全释放的理解，同时确保我们拥有正确的流程和系统，以确保我们发布的所有内容都经过了这个流程。在评估和确保安全方面，还存在一些非常有趣的前沿，例如多模态评估和安全性。我们在早前的对话中谈到了AI在实际世界中，我们与之互动，可能不仅仅是作为一个聊天机器人，而是作为一种能够在现实世界中采取行动的代理人。看到我们如此认真对待这一点真是太好了，因为我认为随着时间推移，这将变得更加复杂和重要。让我们讨论一分钟有关AI和社会的话题。在我进行研究、探索这里的旅程时，对我来说很重要的一点是要始终保持对微软研究室之外的观点的平衡。我们在家里的餐桌上有时会得到一些建议，我个人也有机会与社区组织、甚至政治人士进行接触。我对你们如何在微软研究院保持与这个世界之外观点相关的兴趣很感兴趣。为什么不从你开始呢？

推动负责任人工智能发展的努力

Conclusion:

在AI领域，不断探索前沿研究方向，并解决技术挑战，是推动人工智能发展的关键。通过团队合作和研究创新，我们可以期待AI技术取得更大突破。

Q & A