NSDT工具推荐Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - Three.js虚拟轴心开发包

“我们没有护城河,OpenAI 也没有”,一份据称是从谷歌泄露的文件,提出了一些有趣的观点。 竞争格局发生了变化,护城河也发生了变化。

1、过时的AI护城河

让我们看看哪些护城河已经干涸。

  • 数据不再是护城河

例如,GPT-3 和 Stable Diffusion 是由拥有零专有数据的公司或团体在公共数据集上进行训练的。 现在,模型套利 可以捕获公开可用模型之间的任何差异 - 只需使用一个模型为另一个模型生成训练数据。 但是 GitHub 上的代码训练数据呢? Pile(许多开源LLM使用的数据集)包含超过 192,000 个 GitHub 存储库,拥有超过 100 颗星。 另外,与其他LLM相比,有更多的方法可以生成代码的合成训练数据。

  • 基础模型不再是护城河

在过去的两年半里,我已经多次写过这个话题。

  • 资本不再是护城河(用于训练)

通过模型蒸馏或 LoRA 等技术训练这些模型的成本正呈指数级下降。 训练Alpaca只花了 500 美元。 私募市场有兴趣为竞争对手(Anthropic、Cohere、StabilityAI、HuggingFace)提供资金。 尽管我认为市场会比公司更快地构建和训练大型且昂贵的模型(新架构、更好的技术等)。

2、新涌现的AI护城河

再让我们看看有哪些潜在的新的护城河。

  • 分发渠道

我们仍然不知道这些AI模型最重要的分发渠道。 是网络、移动、台式机、笔记本电脑还是其他形式? 谷歌的护城河在某些方面比其他方面更强大。 Chrome 的受欢迎程度已接近顶峰——Chromium 是所有非移动浏览器事实上的标准。 Pixel 和 Android 不是 iPhone 和 iOS,但仍然有超过 30 亿台活跃的 Android 设备。 那么,考虑到不同的结果,谁的处境最好呢? 浏览器中的LLM—谷歌。 设备上的LLM — Apple。 (非常大)网络上的LLM—OpenAI(目前)。 数以千计的小型LLM — HuggingFace、AWS(目前)。 代码类LLM —  Microsoft(VSCode、GitHub 等)。 RLHF 最重要—面向用户的 SaaS。

  • 品牌(故事)

对谷歌护城河最大的打击是故事和品牌。 此前,谷歌被视为AI创新的中心。 现在,这种故事已经消失了—缓慢、官僚、过时、脱节。 现实可能介于两者之间,但故事可以自我实现。 OpenAI 通过 ChatGPT 的推出抓住了这一点。

  • 人材

开源可以解决很多问题(Linux定律—只要有足够多的眼球,所有的 bug 都是浅层的)。 但有很多事情是开源做不到的。 基础研究就是其中之一(但很昂贵)。 谷歌发明transformers是有原因的。

  • 硬件

最大的AI公司已与云或硬件提供商合作。 为什么? 训练和推理是昂贵的。 如果你靠自己,对 GPU 的访问可能会受到限制。 由于其技术栈的开源替代方案,谷歌可能会遭受规模不经济的影响,但垂直整合可能会带来好处,具体取决于事情的发展情况。

  • 法律法规

监管加大了新公司进入市场的难度。 然而,财力雄厚、人脉深厚的公司(谷歌、微软等)也许能够与监管机构合作,围绕AI系统制定有利的法规。


原文链接:The New AI Moats

BimAnt翻译整理,转载请标明出处