 清华大学交叉信息研究院长聘副教授马恺声
清华大学交叉信息研究院长聘副教授马恺声
划重点:
1、高端AI芯片是必争之地,但走别人的路很难超过别人,所以要发展Chiplet、 3D DRAM堆叠、3D Flash堆叠、Wafer-Scale集成等先进技术路线。
2、从技术角度来说,芯片可以被实时位置验证、远程关闭,所以用海外厂商的芯片的安全风险是存在的。
3、寒武纪股价超过茅台,肯定是件好事儿,因为做芯片很烧钱。
4、北极雄芯在车载场景,我们算“第一个吃螃蟹的人”,拓展性、迭代性都比传统方案有巨大优势。
出品|搜狐科技
作者|张雅婷
编辑|杨锦
“国产芯片是必争之地,如今我们在工艺导致的算力上和国外差了几个generation(代际)。”
近日,清华大学交叉信息研究院长聘副教授马恺声在和搜狐科技交流时表示,大模型会改变人类的生活方式,而国内不缺数据、算法能看齐国外,AI芯片是必须要建设好的基础设施。
马恺声2018年毕业于美国宾夕法尼亚州立大学,同年经姚期智院士招募回国并任职于清华大学。他的研究方向是后摩尔时代的先进芯片架构,曾获得EDAA 2018年杰出博士论文、HPCA最佳论文等奖项。
AI芯片,尤其是GPU长期被英伟达“统治”,占据超八成的市场份额。不过今年以来,国产AI芯片发展势头迅猛。在资本市场上,摩尔线程、沐曦股份、壁仞科技等头部GPU厂商正集体冲刺IPO。
发展国产AI芯片,也有出于安全的考虑。7月底,国家网信办就H20算力芯片漏洞后门安全风险约谈英伟达公司。此前有美国人工智能领域专家透露,英伟达算力芯片“追踪定位”“远程关闭”技术已成熟。
马恺声表示,单纯从技术上来说,确实是有风险的,之前英伟达还锁过卡,因为当时英伟达不希望有人拿它来“挖矿”。
整体来看,马恺声认为,国产AI芯片现在处于“以前没有、现在能用”的状态,要想在芯片领域超过别人需要“另辟蹊径”,而不是走别人走过的路。比如,用Chiplet (3D DRAM堆叠、3D Flash堆叠、Wafer-Scale集成)等技术做芯片。
2021年,马恺声创立北极雄芯公司,基于Chiplet(芯粒)这种先进技术,面向AI、汽车、机器人三大领域布局芯片业务,希望推动在芯片这种“卡脖子”关键技术领域,用不同的技术路线做出来的芯片能够得到应用。
Chiplet的概念最早源于1970 年代诞生的多芯片模组,通俗来说,也就是从原来设计在同一个SoC中的芯片,被分拆成许多不同的小芯片分开制造再加以封装或组装。近年来,摩尔定律逐渐失效,如果进一步堆积算力成为主要的挑战。也就衍生出超越光罩尺寸芯片集成的需求,甚至多卡、多机、多数据中心Scale up、Scale out、Scale cross的需求。
马恺声向搜狐科技表示,Chiplet技术可以把大芯片做小,在国内也有很现实的意义,在国产芯片工艺和良率还在爬坡的情况下,如何利用良率还在爬坡的工艺做出有竞争力的产品,以及如何用国内还比较有竞争力的封装工艺进行集成,具有巨大的战略意义。
以下为对话实录:
搜狐科技:前段时间,网信办约谈英伟达,要求其就对华销售的H20算力芯片漏洞“后门”安全风险问题进行说明。从技术角度来说,芯片能做到实时位置验证、远程关闭吗?
马恺声:确实有这样的可能性,比如抛开这个事情来看,很早之前英伟达是锁过卡的,因为当时英伟达不希望有人拿它来“挖矿”。大部分服务器都是联网的,理论上都可以远程关闭、实时位置验证。但从公司的角度来看,是否有必要花这么大的精力去这样做,其实是不得而知的。
搜狐科技:为什么即使英伟达芯片存在一定风险,商业公司还是会优先考虑英伟达?
马恺声:训练方面,万卡、十万卡的互联,国产芯片确实还有差距,英伟达稳定性更好,互联技术、软件方面有壁垒。推理方面,英伟达的产品性价比更高,比如消费级显卡4090、5090,只有50%的毛利,还都用的3nm、4nm先进制程工艺。而大陆由于众所周知的原因还有明显差距,并且产能有限。在受到制裁的情况下,晶圆价格和NRE(非重复性工程费用)价格都偏高。
搜狐科技:国产AI芯片,现在发展到了什么样的程度?
马恺声:现在其实缺乏一套比较fair的测评标准,很多公司都说自己做得很好,但实际测出来又不一样了。整体来说,(国产)AI芯片现在处于一个以前没有、现在能用的状态。
搜狐科技:发展国产芯片的紧迫性强吗?
马恺声:这是必争之地,这一代大模型确实会改变人类的生活方式,那么我们数据不缺,算法至少能看齐,而算力差了几个generation。芯片是基础设施,如果这个事情搞不定,其他的更难。
搜狐科技:为什么您会选择用Chiplet的技术做芯片?
马恺声:走别人的路,想超过别人是很难的,所以要“另辟蹊径”。比如,用Chiplet、 3D DRAM堆叠、3D Flash堆叠、Wafer-Scale集成也算一种解决方式。通过Chiplet的方式,有望把单片的算力用国产工艺拉出几十倍的性价比,解决国产工艺下,单片性能受限以及良率较低的问题。
搜狐科技:您回国做芯片的初衷是什么?
马恺声:2018年4月,姚期智院士把我从美国招回来,目标就是做算力。姚先生很有战略眼光,当时我们觉得国际形势已经有些分立的苗头,需要储备相关技术。
搜狐科技:您创立的北极雄芯,主要针对的场景是什么?比如车载?
马恺声:从创始人的角度来看,一个没有体量的公司是没有意义的,车载芯片的体量不错,中国市场每年2000-3000万辆车,这个市场的量可以把上下游供应链催熟,使得供应链能够大批量出货,从而降低批量成本。
我们跟吉利、长安等主流车企推进的速度比较快,现在在POC(概念验证)的阶段,乐观一点的话,明年大概出货量估计会有二三十万片。在车载场景,我们算“第一个吃螃蟹的人”,并且这个这个技术路线由于本身良率的提高,比现行的方案能便宜10%到20%。
另外,车载的芯片当然还可以应用于机器人芯片,我们也在积极推进。北极雄芯主要提供拥有自主知识产权的全国产智能芯片;明年我们推出的新一代产品,带宽可以达到10TB,7B模型可以运行到800token/S起。
搜狐科技:大模型场景,你们的进展如何?
马恺声:我们不仅仅是面向端侧AI场景,我们也在发力云端推理方案。公司基于多年基础研发所积累的NPU及工具链能力、模型部署优化能力、Chip-to-Chip互联能力等,积极推动面向云端推理PD分离策略的专用加速方案研发,通过Chiplet+PIM/PNM等前沿技术,充分利用全国产化供应链资源,有效解决大模型推理应用落地所面临的成本痛点,较目前主流部署方案进一步提升5-10倍性能,10-100倍性价比。大概明年年终大批量开始出货,我们已经有了国内大模型公司的订单意向,几千台服务器是看得到的。
搜狐科技:国产AI芯片概念火热,甚至寒武纪股价一度超过茅台成为A股新股王,您如何看待这样的现象?
马恺声:这肯定是件好事儿,因为做芯片是烧钱的,股票市场的融资成本其实非常低,能够提供足够的资金储备。这对于整个行业都是非常积极的消息。
搜狐科技:北极雄芯最近完成了新一轮过亿元融资,您从自己做企业的感受来看的话,今年市场水温如何?
马恺声:现在比几年前是好了非常多。有几个趋势:从以前美元主导到现在的国资主导;从短视和激进逐利资本到耐心资本的变化;另外就是整个资本行业的精神非常好,大家都非常看好未来的形势,看好国家的向上发展。