·“我唯一懂得如何制定策略的方法就是，一次又一次地进行非常长期的、资本密集型的、困难技术相关的投资。而且我甚至不认为我在这方面特别擅长。我只是觉得没有太多人尝试这些，所以竞争很小。”
·“我认为对参数数量的关注度过高。”
山姆·奥特曼在麻省理工学院（MIT）举办的活动中远程连线。
ChatGPT开发机构OpenAI的CEO山姆·奥特曼4月曾在一个对话活动中称，他们没有在训练GPT-5，并提到“我们现在已经接近巨型模型时代的尾声”，正在寻找其他方式改进模型。
这场名为“想象行动”的活动由麻省理工学院（MIT）举办，其完整对话内容在当地时间5月8日被主办方公布。奥特曼在对话中详细阐述了他的思路，认为模型规模不一定能带来最佳的效果，模型能力才是最重要的结果。
奥特曼被问及基于大模型的商业思路，他坦承自己不是商业策略家，“很多公司用非常轻量级的东西构建了具有掠夺性机制的产品，但这并不是什么持久之计。而那些真正按照正常步骤去打造伟大企业的公司在过去15年里持续发展。所以你肯定希望成为后者。”
以下是对话内容，略有删节：
主持人：第一个我想问的是，如果AGI（通用人工智能）即将到来，那么我们现在正处于一个拐点。人类历史在AGI出现之前是一个段落，然后，从这里开始显然有一个完全不同的历史。所以在我看来，无论事态如何发展，你都将成为历史书中的焦点。你认为是这样吗？
奥特曼：你说的“这样”是指什么？
主持人：关于历史将如何描述这个时刻，这个时刻是（人工智能）这个领域里的创新之年。
奥特曼：我希望这会成为历史书中的一页或一章，但我认为在接下来的几十亿年里会发生如此多不可思议的事情，以至于这将只是其中的一个小部分。所以我认为，在我们面前会有更多新的、更大的、更令人兴奋的机遇和挑战。
主持人：你能否给刚创业的公司一些快速建议，需要从一开始就做出哪些决定？从哪里开始？如何让它在任何特定的垂直用例中发挥作用？等等。
奥特曼：没有什么能超过你为用户打造一个他们喜爱的产品的责任。你要非常了解你的用户，满足他们的需求，考虑长期可持续的商业策略。在平台转换期间，这实际上可能变得更加重要，而不是变得不那么重要。
回想一下应用商店的推出，这可能是最近类似的例子，有很多公司用非常轻量级的东西构建了具有掠夺性机制的产品，但这并不是什么持久之计。这样的公司经历了令人难以置信的流星般的兴衰。而那些真正按照正常步骤去打造伟大企业的公司在过去15年里持续发展。所以你肯定希望成为后者。
技术只是一个新的推动器，但你作为公司需要做的是建立一个具有长期复合战略优势的优秀公司。
主持人：让我们开始谈谈基础大模型。回顾过去两年，开始的最好方法之一是采用现有的基础模型，添加一些层，然后针对垂直领域重新训练它。现在基础模型可能有一万亿个参数，规模要大得多。但是，在不重新训练的情况下对其进行操作的能力也要灵活得多。我认为现在基本模型中有50000个可用的token（在自然语言处理中，token是指一组相关的字符序列，例如一个单词或一个标点符号） ？
奥特曼：最大的模型中大约有32000个，基础模型中有8000个。
主持人：那么，基础模型未来会如何迭代？这应该相当快就会被推出了。
奥特曼：我们仍在努力弄清楚，开发者在模型定制方面到底需要什么。我们愿意在这里做很多事情，我们也把开发者当作我们的用户。因此，我们的目标是让开发者非常满意，弄清楚他们需要什么。
我们原以为这将是一个更精细的微调（finetune）的故事，我们一直在思考如何以不同的方式提供这种服务。但是，人们似乎更喜欢使用基础模型来完成一些非常了不起的事情，所以我们正在积极地重新考虑，要优先考虑哪些定制。
因为用户需要的东西似乎在模型变得越来越好的情况下也在不断改进。随着模型越来越好，对微调的需求也越来越小，你可以在上下文中做越来越多的事情。
主持人：当你说微调时，你是指改变参数权重。
奥特曼：是的。我们肯定会在GPT里提供一些修改参数权重的功能，但就目前来看，与提供非常便宜的上下文能力相比，可能调整参数权重的使用频率会较低，如果我们能解决（可输入）100万个token的问题的话。
主持人：我们来稍微深入了解一下。无论具体细节如何， 趋势似乎是，随着模型变得越来越大，从1万亿到10万亿个参数，prompt提示工程的能力规模以及token规模的数量，都与模型参数规模不成比例地增长， 这听起来对吗？
奥特曼：从参数规模的角度，不成比例地增长，是的。但我认为我们现在已经接近这些巨型模型时代的尾声。我们将通过其他方式改进它们。我想说的是，它们和模型能力成比例地增长。
主持人：关于基础模型的创建投资，在训练过程中可能需要5000万至1亿美元的规模？
奥特曼：我们没有透露过具体金额，但实际上比这个数字要多得多。
主持人：随着时间的推移，投资也在增加。那么，试图从零开始的人需要迎头赶上，他们可能要追赶一个巨大的差距。
奥特曼：也许我们都很愚蠢，错过了一个重要的想法，所有这些或许并不像我们想象的那么困难或昂贵，可能将有一个完全新的范例取代我们。这对世界来说是好事，尽管对我们来说可能不是。
主持人：让我听听你对这些事情的看法。保罗·格雷厄姆（美国风险投资家）称，你是他见过的最伟大的商业策略家。在场所有这些人都在努力应对他们的商业策略，思考到底要建立什么和在哪里建立。所以我一直在问你一些问题，这些问题或多或少地涉及到在GPT-4、ChatGPT以及即将到来的GPT-5等基础之上的垂直应用案例。但是，还有许多与之相邻的商业模式，如联合学习、数据调节或部署等。
如果你只是投资于这个生态系统中的一类公司，那也是有趣的商业模式。关于哪里有更高回报、哪里有更快增长的商业模式，你有什么想法？
奥特曼：我不认为保罗·格雷厄姆真的那样说过。我知道他说过类似的话，但无论如何，我不认为这是真的。
我觉得有些人是难以置信的商业策略家，而我不是其中之一。所以我在这里犹豫不决地给建议。
我唯一懂得如何制定策略的方法就是，一次又一次地进行非常长期的、资本密集型的、困难技术相关的投资。而且我甚至不认为我在这方面特别擅长。我只是觉得没有太多人尝试这些，所以竞争很小，这种策略我认为没有太多竞争。
但要利用像OpenAI这样的平台，构建一个新的、快速增长、有防御能力的消费者企业公司，我几乎一无所知。我知道所有的理论，但不了解实践。我会去寻找那些做过这些事情的人，并向他们寻求实践建议。
主持人：关于底层技术平台，我有几个问题。自从参数数量还不到100万时，我就一直在自己构建神经网络。实际上，它们在许多商业应用中非常有用。然后我看着它们的参数数量增长到10亿，GPT-2大约是15亿个参数，接着是GPT-3，现在是GPT-4。我们不知道当前的参数数量，但我认为GPT-3中是1250亿。与GPT-2相比，它的差距简直令人难以置信，然后GPT-4更是让人难以置信地不同。
听了英伟达的预测，参数数量似乎处于上升趋势，从1万亿到10万亿，然后英伟达说未来十年将达到10千兆。你认为这个数字是正确的吗？
奥特曼：我认为对参数数量的关注度过高。
参数数量肯定会上升，但这让我想起了上世纪90年代和21世纪初芯片中的兆赫兹竞赛。每个人都试图指向一个很大的数字，然后最后，你可能连自己的iPhone上有多少兆赫都不知道，但它很快。我们实际上关心的是能力。
我认为重要的是去关注能力的快速提高。如果有什么原因使得参数数量应该随着时间的推移而减少，或者我们应该让多个较小的模型共同工作，我们也会这样做。
我们想为世界提供最有能力、最有用、最安全的模型。我们不是为了炫耀参数数量而存在。
主持人：但这类算法与我以前见过的任何算法相比，有一个绝对独特的地方，无论你是用参数数量还是其他方式来衡量，它都会让你惊讶于它的原始性能，它利用了规模的优势。
今天早上我举的例子是，如果你有一个电子表格，你将其编码并在一台速度提高了10000倍的计算机上运行，它不会让你感到惊讶；它反应很好，但它仍然是一个电子表格。
而这类算法在纯粹提高性能方面做了以前无法做到的事情（指AI大模型的智能涌现）。
实际上我们风险投资基金的一位合伙人用GPT-2写了一本书。你可以在亚马逊上购买，书名叫《从这里开始》或《从这里开始：浪漫》 ，我想大概卖了10本，我买了其中的一本，所以可能只卖了9本。如果你读这本书，你会发现这本书并不好 。
这只是4年前。仅仅4年，从GPT-2、3到4，现在它已经从质量不怎么好，到有些合理，到现在有可能写出一本真正优秀的书。
你还是要先给它一个框架，还是要有效地写出概念，但它在填充单词上做得非常漂亮。所以作为一个作者，这可能是一种十倍、一百倍的能力放大器，使作者更强大。
所以，如果底层基础设施越来越快，这类算法将在相对较短的时间范围内做出令人惊讶的事情。
因此，我认为在座的各位需要预测的是，下一个真正对社会有益的用例会在这个（AI增长的）曲线上达到临界点。你能给我们什么启示，关于什么是可能的，而在一年前或两年前是不可能的？
奥特曼：我认为，永远不要失去对愿景和长期目标的关注，要有非常紧密的反馈循环，关注哪些有效果，哪些无效果；做更多有效果的事情，少做无效果的事情。非常非常仔细的用户观察可以让我们走得很远。
所以，我可以猜测想法，你们都可以猜测想法，但没有什么比把产品放出去，真正深入了解发生了什么，并且对其做出及时响应更有价值。
主持人：你什么时候知道你的ChatGPT非常特别？是什么让你实现了其他人无法实现的事情？
奥特曼：我们已经为此努力了很长时间，我们逐渐更有信心地知道这真的会奏效。这个公司已经成立了7年，事情需要很长时间。
关于为什么其他人没有成功我们却成功了，就是因为我们一直在努力工作，长时间关注每一个细节，大多数人不愿意这么做。
至于我们什么时候知道，ChatGPT特别是作为一款消费者产品会火起来的，大概是在发布后的48小时左右。
主持人：我们在MIT，这里与马克斯·泰格马克（Max Tegmark，麻省理工学院教授）等人发起制定了一个“关于暂停AI发展6个月”的公开信。
关于这封公开信，你有什么想法？
奥特曼：其中有一部分我非常赞同。我们在发布GPT-4之前，已经花了超过6个月的时间研究模型的安全性，以及让外部审计和红队进行检查。花时间真正研究一个模型的安全性，尽可能地消除风险是很重要的。
自从我们发布了GPT-4以来，很多人都说，哇，这不仅是OpenAI发布的最有能力的模型，而且是最安全、最有目标的模型。除非我尝试让它做坏事，否则它不会这样做。所以，我们完全同意（以上这点）。
我还同意，随着AI能力变得越来越强大，安全标准也必须提高。但不幸的是，我认为这封信缺乏关于哪里需要暂停的技术细节。
事实上，在信的早期版本中宣称我们OpenAI正在训练GPT-5，但事实并非如此。我们还需要一段时间。从这个意义上说，这封信有点可笑。
02:03
