如何看待谷歌最新泄密文档表示谷歌和OpenAI无法与开源模型竞争？这对中国AI发展有什么影响？

https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

机翻：

下面的文字是最近泄露的一份文件，由一个匿名人士在一个公开的Discord服务器上分享，他已经同意重新发布该文件。它来自谷歌的一名研究员。我们已经验证了其真实性。唯一的修改是格式化和删除内部网页的链接。该文件只是一个谷歌员工的意见，而不是整个公司的意见。我们不同意下面写的内容，我们问过的其他研究人员也不同意，但我们会在另一篇文章中为订阅者发表我们对此的看法。我们只是作为一个容器来分享这份文件，它提出了一些非常有趣的观点。

我们没有护城河，而OpenAI也没有
我们在OpenAI已经做了很多的观察。谁会跨越下一个里程碑？下一步会有什么行动？
但令人不安的事实是，我们没有能力赢得这场军备竞赛，OpenAI也是如此。在我们争吵不休的时候，第三派一直在悄悄地吃我们的午餐。
当然，我指的是开源。简而言之，他们正在吃我们的饭。我们认为是 "主要的开放问题 "的东西今天已经解决了，并且在人们的手中。仅举几个例子：

• 手机上的LLMs： 人们在Pixel 6上运行基础模型，速度为5 tokens/秒。
• 可扩展的个人人工智能：你可以在一个晚上在你的笔记本电脑上微调一个个性化的人工智能。
• 负责任的发布： 这个问题并没有 "解决"，而是 "避免"。有整个网站都是没有任何限制的艺术模型，而文字也不例外。
• 多模态性： 目前的多模态SOTA是在一个小时内训练完成的。

虽然我们的模型在质量上仍有一点优势，但差距正在迅速缩小，令人吃惊。开源模型的速度更快，可定制性更强，更私密，而且一磅一磅的能力更强。他们正在用100美元和130亿的参数做一些事情，而我们在1000万美元和540亿的参数上却很难做到。而且他们在几周内就能做到，而不是几个月。这对我们有深远的影响：

• 我们没有秘方。我们最好的希望是向谷歌以外的其他人学习并与他们合作。我们应该优先考虑实现3P整合。
• 当免费的、不受限制的替代品质量相当时，人们不会为一个受限制的模式付费。我们应该考虑我们的附加值到底在哪里。
• 巨大的模型正在拖累我们。从长远来看，最好的模型是那些可以快速迭代的模型。既然我们知道在<20B的参数体系中可能出现的情况，我们就应该让小的变体不再是一个事后的想法。

发生了什么
三月初，开源社区得到了他们的第一个真正有能力的基础模型，因为Meta的LaMA被泄露给了公众。它没有指令或对话调整，也没有RLHF。尽管如此，社区立即理解了他们所得到的东西的重要性。
随后，巨大的创新涌现出来，主要的发展只间隔了几天（完整的分类见时间轴）。现在，不到一个月的时间，就出现了指令调整、量化、质量改进、人类评估、多模态、RLHF等变体，等等，其中许多都是相互关联的。
最重要的是，他们已经解决了缩放问题，达到了任何人都可以修补的程度。许多新的想法都来自于普通人。培训和实验的门槛已经从一个主要研究机构的总产出下降到一个人、一个晚上和一台强大的笔记本电脑。

为什么我们可以预见到它的到来
在许多方面，这对任何人来说都不应该是一个惊喜。当前开源法律硕士的复兴紧随图像生成的复兴之后。社区并没有忘记这些相似之处，许多人称这是LLMs的 "稳定扩散时刻"。
在这两种情况下，低成本的公众参与是通过一种称为低等级适应（LoRA）的更便宜的微调机制，结合规模上的重大突破（图像合成的潜伏扩散，LLM的Chinchilla）实现的。在这两种情况下，获得一个足够高质量的模型引发了世界各地的个人和机构的想法和迭代的热潮。在这两种情况下，这很快就超过了大型企业。
这些贡献在图像生成领域非常关键，使稳定扩散公司走上了与Dall-E不同的道路。拥有一个开放的模式导致了产品整合、市场、用户界面和创新，这些都是Dall-E所没有的。
其效果是可想而知的：在文化影响方面，与OpenAI的解决方案相比，它迅速占据了主导地位，变得越来越不重要。同样的事情是否会发生在LLM上还有待观察，但广泛的结构元素是相同的。

我们错过了什么
推动开源最近成功的创新直接解决了我们仍在挣扎的问题。多关注他们的工作可以帮助我们避免重新发明车轮。
LoRA是一个非常强大的技术，我们也许应该多加注意
LoRA的工作原理是将模型更新表示为低秩因子化，这将更新矩阵的大小减少了几千倍。这使得模型的微调只需要一小部分的成本和时间。能够在几个小时内在消费类硬件上对语言模型进行个性化调整是一件大事，特别是对于那些涉及在近乎实时的情况下纳入新的和多样化的知识的愿望。这项技术的存在在谷歌内部没有得到充分的利用，尽管它直接影响了我们一些最雄心勃勃的项目。

从头开始重新训练模型是一条艰难的道路
LoRA之所以如此有效，部分原因在于--像其他形式的微调--它是可堆叠的。像指令调整这样的改进可以被应用，然后在其他贡献者增加对话、推理或工具使用时被利用。虽然单个微调是低等级的，但它们的总和不需要，允许模型的全等级更新随着时间的推移而积累。
这意味着，随着新的和更好的数据集和任务的出现，模型可以廉价地保持更新，而不需要支付全面运行的费用。
相比之下，从头开始训练巨型模型，不仅丢掉了预训练，还丢掉了在上面进行的任何迭代改进。在开源世界中，这些改进不需要很长时间就会占据主导地位，从而使全面的重新训练变得极其昂贵。
我们应该深思熟虑，每个新的应用或想法是否真的需要一个全新的模型。如果我们真的有重大的架构改进，排除了直接重复使用模型权重，那么我们应该投资于更积极的提炼形式，让我们尽可能多地保留前一代的能力。
如果我们能在小模型上更快地进行迭代，那么从长远来看，大模型并不是更有能力。
对于最流行的模型尺寸，LoRA更新的生产成本非常低（约100美元）。这意味着，几乎任何有想法的人都可以生成并分发它。训练时间少于一天是正常的。在这种速度下，所有这些微调的累积效应不需要很长时间就可以克服开始时的尺寸劣势。事实上，就工程师时间而言，这些模型的改进速度远远超过了我们最大的变体所能做到的，而且最好的模型已经与ChatGPT基本没有区别了。专注于维护地球上一些最大的模型实际上使我们处于不利地位。

数据质量的扩展比数据大小更好
许多项目通过在小型、高度策划的数据集上训练来节省时间。这表明数据扩展规律有一定的灵活性。这种数据集的存在源于《数据不随人愿》中的思路，它们正迅速成为谷歌之外的标准训练方式。这些数据集是使用合成方法（例如从现有模型中过滤出最佳反应）和从其他项目中搜刮出来的，这两种方法在谷歌都不占优势。幸运的是，这些高质量的数据集是开源的，所以它们可以免费使用。

与开放源码直接竞争是一个失败的命题
最近的这一进展对我们的商业战略有直接、直接的影响。如果有一个免费的、高质量的、没有使用限制的谷歌产品，谁还会为它买单呢？
而且我们不应该期望能够赶上。现代互联网在开放源码上运行是有原因的。开放源码有一些我们无法复制的重大优势。

我们需要他们比他们需要我们更多
对我们的技术进行保密始终是一个脆弱的提议。谷歌的研究人员经常离开，去其他公司工作，所以我们可以假设他们知道我们知道的一切，而且只要这个管道是开放的，就会继续知道。
但是，在技术方面保持竞争优势变得更加困难，因为法律硕士的尖端研究是可以负担得起的。世界各地的研究机构都在彼此的工作基础上，以广度优先的方式探索解决方案的空间，远远超过了我们自己的能力。我们可以尝试紧紧抓住我们的秘密，而外部的创新会稀释它们的价值，或者我们可以尝试相互学习。

个人受许可的限制程度与企业不同
这种创新大部分是在Meta公司泄露的模型权重之上发生的。虽然这将不可避免地随着真正的开放模型变得更好而改变，但问题是他们不必等待。个人使用 "所提供的法律保护和起诉个人的不切实际，意味着个人可以趁热打铁获得这些技术。

成为你自己的客户意味着你了解使用情况
浏览人们在图像生成领域创建的模型，有大量的创造力，从动漫生成器到HDR景观。这些模型是由那些深深沉浸在他们特定的子类型中的人使用和创造的，提供了我们无法企及的知识深度和同情心。

拥有生态系统： 让开放源码为我们工作
矛盾的是，在这一切中，一个明显的赢家是Meta。因为泄漏的模型是他们的，他们有效地获得了整个地球的免费劳动力。由于大多数开源创新都发生在他们的架构之上，没有什么可以阻止他们直接将其纳入自己的产品。
拥有生态系统的价值怎么强调都不为过。谷歌本身已经在其开源产品中成功地使用了这种模式，如Chrome和Android。通过拥有创新发生的平台，谷歌巩固了自己作为思想领袖和方向制定者的地位，赢得了在比自己更大的想法上塑造叙述的能力。
我们越是严格地控制我们的模式，我们就越能吸引开放的替代方案。谷歌和OpenAI都倾向于采取防御性的发布模式，使他们能够严格控制他们的模型如何被使用。但这种控制是一种虚构。任何想要将LLMs用于未经批准的目的的人都可以简单地从免费提供的模型中挑选。
谷歌应该在开源社区建立自己的领导地位，通过与更广泛的对话合作，而不是忽视它。这可能意味着采取一些不舒服的步骤，比如公布小型ULM变体的模型权重。这必然意味着放弃对我们模型的一些控制。但这种妥协是不可避免的。我们不能希望既推动创新又控制创新。

后记： 关于OpenAI？
鉴于OpenAI目前的封闭政策，所有这些关于开源的讨论都会让人觉得不公平。如果他们不愿意，我们为什么要分享呢？但事实是，我们已经在与他们分享一切了，因为他们在不断地挖走高级研究人员。在我们阻止这一浪潮之前，保密是一个没有意义的问题。
而最终，OpenAI并不重要。他们在相对于开源的姿态上犯了和我们同样的错误，他们保持优势的能力必然会受到质疑。除非他们改变立场，否则开放源码的替代品能够而且最终将使他们黯然失色。至少在这一点上，我们可以先下手为强。