谷歌 DeepMind：DiPaCo 向所有人开放超强大的人工智能模型

谷歌 DeepMind 推出了 DiPaCo，这是一个开放的、全球分布式的人工智能训练系统，类似于神经网络的种子工作方式。

DeepMind 的开发是为了响应微软和OpenAI最近宣布 的一项耗资 1000 亿美元的项目来建设下一代超级计算机和数据中心。目标是开发创新的超智能人工智能模型。该举措有望成为人工智能领域的重大发展，巩固微软和 OpenAI 作为市场领先者的地位。

DiPaCo（分布式路径组合） 提供了一种创新的方法来训练神经网络，利用世界各地的计算能力，这将使人工智能模型能够扩展到传统集中式系统无法达到的规模。

分布式 DiPaCo 系统

DiPaCo 基于两种关键算法，它们共同创建了用于开发超智能 AI 模型的强大工具：

• DiLoCo，提供数据处理过程的并行化；
• DiPaCo，负责并行化模型训练过程。

DiPaCo的成功不仅可以挑战微软和OpenAI数十亿美元投资的价值，还可以从根本上改变人工智能的发展方向。该项目有可能使超级智能人工智能模型的训练民主化，从而打破当前市场领导者的垄断，促进人工智能领域的快速进步。

此外，DiPaCo 可能会让政府（尤其是美国和中国）的事情变得更加困难，因为它们正在寻求通过控制大型数据中心来规范人工智能的发展。 DiPaCo的分布式结构使得这种控制更加复杂且效率较低。