加速芯片间数据流动并不是LPU 3加速推理工作负载的唯一方式。处理器自带500兆字节的SRAM，这是一种高速内存类型。
在与英伟达公司签订200亿美元芯片授权协议七个月后，Groq Inc.今日宣布已筹集到6.5亿美元的资金。
成长型投资公司Disruptive和对冲基金Infinitum领跑了本轮。
Groq 开发了一款名为 LPU 的芯片设计，专门针对人工智能推理工作负载进行了优化。去年12月，英伟达同意授权支撑该处理器的技术。它还聘请了几位关键员工，包括其创始首席执行官。
此次交易诞生了Nvidia Grok LPU 3，一款芯片巨头于三月发布的推理处理器。它作为一种机架尺寸的液冷设备——LPQ的一部分运输。该系统包含32个托盘，每个托盘可容纳三台Groq LPU 3单元、一台中央处理单元和网络设备。
推理簇中的加速器各自包含一种称为时钟的石英晶体，用于调节处理速度。时钟在协调芯片间数据流动方面也起着重要作用。当加速器时钟不同步时，数据流量会变慢，这会对AI模型的响应时间产生负面影响。
LPU 3 包含自动修复时钟漂移的功能，以避免数据流量瓶颈。据英伟达称，该芯片包含92条通道，每条通道可以每秒112吉比特的速度将数据传输到其他处理器。这意味着双向带宽是每秒2.5 TB。
加速芯片间数据流动并不是LPU 3加速推理工作负载的唯一方式。处理器自带500兆字节的SRAM，这是一种高速内存类型。SRAM的性能优于其他AI加速器用于存储数据的片外内存，这意味着推断速度更快。
Groq 运营着一个基于低功率（LPU）的云平台，企业可以利用它来运行推理工作负载。公司今天披露，该平台每周为500万开发者处理数万亿代币。
Groq的云服务覆盖多个大陆的13个数据中心。公司将利用融资融资所得扩大推理能力，目标到2027年达到200兆瓦。据Groq称，部分新的处理能力将由LPX提供，LPX是英伟达于三月发布的液冷LPU 3设备。
其他云运营商理论上可以自行构建基于LPQ的推理服务。Groq能够从潜在竞争对手中脱颖而出的一个方式，就是通过扩展平台，推出如托管数据库等新服务。其他专注于人工智能的云服务提供商，尤其是CoreWeave Holdings Inc.，也已将业务范围从基础设施扩展到更高级的服务领域。
声明： 此文观点不代表本站立场；转载须要保留原文链接；版权疑问请联系我们。
