
据报道,谷歌正在开发一款专门针对其Gemini系列大语言模型优化的新型芯片。
据The Information今日援引消息人士报道,该处理器的代号为"Frozen v2"。报道称,与谷歌现有芯片相比,该芯片的每瓦性能预计将提升6至10倍。受此消息影响,谷歌母公司Alphabet的股价当日上涨1.5%。
现成芯片通常包含用户并不需要的模块。以AI初创公司为例,若其购买了同时包含推理核心和渲染核心的显卡,渲染核心往往会处于闲置状态,导致资源浪费,降低AI项目的整体效率。
定制芯片可以有效解决这一问题。企业可以去除与自身工作负载无关的电路,从而降低制造成本;或者将这些电路替换为更适合特定应用场景的专用核心。
谷歌长期以来通过其公有云平台提供名为TPU的定制AI芯片。最新一代的两款产品TPU 8t和TPUi分别针对模型训练和推理进行了专项优化。根据最新报道,谷歌计划更进一步,专门针对Gemini模型的架构对即将推出的Frozen v2芯片进行深度优化。
据报道,谷歌预计将通过多种途径实现显著的效能提升。其中一个关键方向是减少运行Gemini所需的计算量;此外,该芯片还将降低数据移动开销。
数据移动问题通常发生在神经网络规模超出显卡板载内存容量时。此时,神经网络的部分参数需要存储在片外存储器中,显卡须频繁地在片外存储与内部逻辑电路之间调度数据,从而拖慢整体处理速度。
谷歌可能通过为Frozen v2配备足够大的片上内存来解决这一瓶颈,使Gemini模型完全在片上运行,从而彻底消除片外内存的数据交换需求。
Frozen v2预计将减少运行Gemini所需计算量,这也意味着该芯片可能支持一种名为"算子融合"的技术。这是一种被广泛应用的AI加速技术,通过将多个独立计算操作合并为单一计算步骤,从而提升运算速度。
谷歌现有的TPU通常以集群方式部署,并配合多种定制组件协同工作。例如,TPU 8i依赖名为光学电路交换机的定制设备来管理数据流向。预计谷歌也会确保Frozen v2与这些组件兼容,以避免对现有集群架构进行大规模重新设计。
据报道,谷歌计划于2028年开始向其数据中心部署该芯片。
Q&A
Q1:谷歌Frozen v2芯片和现有TPU芯片有什么区别?
A:Frozen v2是谷歌在现有TPU系列基础上更进一步的定制化尝试。现有的TPU 8t和TPUi分别针对训练和推理进行了优化,而Frozen v2则直接针对Gemini模型的底层架构进行专项定制,预计每瓦性能比现有芯片提升6至10倍,同时通过减少计算量和降低数据移动开销来大幅提升整体效率。
Q2:Frozen v2芯片如何解决数据移动带来的性能瓶颈?
A:当神经网络规模超出显卡板载内存时,模型参数需要存储在片外存储器中,芯片须频繁在片外存储与内部逻辑电路之间来回搬运数据,严重拖慢处理速度。Frozen v2计划配备足够大的片上内存,使Gemini模型可完全在芯片上运行,从而消除片外数据交换的需求,显著提升推理速度。
Q3:谷歌Frozen v2芯片什么时候会正式上线?
A:根据目前的报道,谷歌计划于2028年开始将Frozen v2芯片部署到其数据中心。目前该芯片仍处于研发阶段,具体的量产时间表和性能细节尚未正式对外公布。