Chiplet:实现AI大模型算力跨越的关键之道

2023-10-10 03:07:55 来源:网络

集微网报道 (文/陈炳欣)以ChatGPT为代表的AI应用蓬勃发展,对上游AI芯片算力提出了更高的要求。半导体大厂通过不断提升制程工艺和扩大芯片面积,推出更高算力的芯片产品加以应对。研究显示,当5nm芯片的面积达到200mm2以上,采用Chiplet方案成本将低于单颗SoC,同时也减少了因芯片面积增加而带来的良率损失。除了成本和良率的优势,Chiplet技术还带来了高速的Die to Die互连,使得芯片设计厂商可以将多颗芯粒集成在一块芯片之中,实现算力上的大幅提升。对此,有越来越多厂商意识到,Chiplet将是AI芯片实现算力跨越的破局之道。

Chiplet为算力增长赋能

Chiplet通常被翻译为“芯粒”或“小芯片”,通过将原来集成在一颗系统级单芯片中的多个单元分拆开来,独立成为多个具特定功能的芯粒,分开制造后再通过先进封装技术将彼此互联,最终集成封装为一个系统芯片组。对此,芯和半导体联合创始人、高级副总裁代文亮指出,Chiplet是先进工艺制程逼近物理极限,芯片PPA(性能、功耗、尺寸)提升放缓,经济效益降低的大背景下,应运而生的。

目前,芯片面积已经接近光罩尺寸的极限,单芯片尺寸不能超过1个光罩面积800mm2。同时,芯片的尺寸越大,落入晶圆坏点位置的概率也就越高,良率越低。更小的芯粒尺寸可以带来更高的良率,突破光罩尺寸限制,降低制造成本。芯粒还拥有更多工艺节点可以选择,可以将最佳节点实现的芯粒进行混合集成,从而提高研发效率,摊薄NRE(一次性工程费用)成本,缩短上市周期。人们大多听说过“摩尔定律”。实际上,戈登·摩尔在1965年还有一个预言:“事实可能会证明,用小型功能构建大型系统,分别进行封装和互连,性价比会更高。”

当GPT-4首次支持多模态后,文本、图像、视频及更多形态的数据都成为用于模型训练的数据。从训练到推理,从数据中心到边缘,AI引爆的数据多模态化浪潮使得业界意识到原有的算力明显不够。如果说过去对算力的需求是以倍数增长,现在就是呈现指数级态势。这就对半导体行业提出更高挑战。

从当前的发展态势来看,Chiplet或许正是满足当下算力需求的关键技术。一方面,通过Die to Die互联和Fabric互联网络,能够将更多算力单元高密度、高效率、低功耗地连接在一起,从而实现超大规模计算。另一方面,通过将CPU、GPU、NPU高速连接在同一个系统中,实现芯片级异构,可以极大提高异构核之间的传输速率,降低数据访问功耗,提高数据的处理速度,降低存储访问功耗,满足大模型参数需求。

进入规模化应用阶段

Chiplet技术方兴未艾,全球半导体顶尖公司都在积极推出自己的产品。特斯拉Dojo深度学习和模型训练芯片,采用Chiplet进行系统垂直重构,每个训练Computing Tile含25颗D1 Chiplet,6个Tile+20个接口处理器形成Dojo一个Tray。AMD MI300 APU加速显卡为全球首个CPU+GPU Chiplet,利用3D封装技术将CPU和加速计算单元集成在一起,整颗芯片集成1460亿颗晶体管,5种/21颗Chiplet。英伟达的Ampere A100 GPU采用GPU+6xHBM,通过封装技术在中介层实现GPU和HBM之间的高速互联。超摩科技联合创始人、技术市场副总裁邹桐表示,ChipLet已经进入规模化应用阶段,应用于高性能计算芯片当中。

值得注意的是,在边缘侧大模型推理,对于边缘算力的需求也是未来一大趋势。与云计算的数据中心架构相比,大模型在边缘端的智能计算是在一个已经训练好、有基本智能水平的模型基础上,当边缘端具备多模态大模型的离线学习进化能力时,本地模型将变得私人定制化,数据也无需上传云端。这部分推理与训练微调过程主要依赖边缘大模型的AI算力。

根据原粒半导体联合创始人原钢的介绍,针对边缘侧单任务的大模型场景,可以把模型切分到不同Chiplet进行并行计算,通过在预训练模型的基础上进行额外训练,使其适应特定任务。大模型的边缘端微调,可使用本地存储的私有数据,或者本地新采集的数据。“SoC主控+AI Chiplet”组合可有效复用芯片主控,显著降低成本,快速满足各类规格需求。这将是未来该领域的重要发展方向。

核心目标是降成本提性能

当前,Chiplet应用的局限性依然明显。根据中兴微高速互联总工程师吴枫介绍,目前Chiplet仍以国际大厂的垂直体系为主,每个厂家都在依照自己的产品体系,设计相关封闭的系统。如果想要实现不同平台间的Die to Die互联,仍然有待完善互联标准。此外,Chiplet初期成本依然高企,需要有确定和相当的市场容量才能支撑。代文亮也指出,存在Die互连、先进封装3D异构集成、设计流程及工具等挑战,是Chiplet实现的核心问题。

Die-to-Die互连是一项核心工作。标准协议统一化是行业发展的大趋势。Chiplet增加了互连的复杂性,但只有实现了Chiplet之间的标准化,才能有效扩大生态圈,提高复用并降低成本。对此,吴枫认为,要加强通用的Die to Die PHY IP的开发,为Chiplet提供高带宽,低功耗、低延迟的物理层连接。在生态建设层面,应设立物理层标准,规范尺寸、摆放方式、电气、逻辑层协议、帧格式、流程等,加强一致性和兼容性。在生态方面,应加强IP供应商、EDA设计、验证和仿真工具、测试方案和测试工具的协同。系统级/Chiplet是多团队、多芯粒、多厂商、多工艺节点、多功能模块、多材料、多工具等要素融合的产品设计,需要从顶层出发协同优化整个系统。

代文亮则强调,要加强先进封装3D异构集成技术的研发。3D异构集成是Chiplet实现的基础,面临诸多设计挑战,比如互连、散热、良率、翘曲、无源器件集成、寄生效率、成本、可靠性等。通过封装技术才能有效实现多Chiplet的集成,包括高密度先进封装的设计、生产、验证,高速通道的设计、验证,供电方案、散热方案、应力方案、可靠性等,为Chiplet之间提供高密度高速的互联,支持大电流供电。

应用Chiplet技术的核心目的是降低成本与提高性能。在降低成本方面,Chiplet复用是降低成本的有效手段。在提高性能方面,核心则是重构系统,将计算、存储模块拉近,实现系统设计、软件适配等多方面的优化。借助Chiplet技术进行系统级协同设计,可以在多样化的场景和需求下,实现整个芯片/系统的PPA最优化。开发流程需要匹配Chiplet架构,Chiplet之间需要协同设计、仿真、验证,进而提高交付效率和交付质量。

,Chiple腾讯博客 t:实现AI大模型算力跨越的关键之道

相关:

资源不断聚集九州,日本强化半导体供应链建设集微网消息,日本九州已经成为半导体产业的重要聚集地之一。以台积电在熊本县建设大型工厂为起点,东京电子、荏原制作所等设备制造商也接连在熊本投资。如果继续推进供应链建设,经济效益势必大增。在熊本县菊阳町的一处小山丘上,矗立着一座要塞般的巨大建筑物。投入1万亿日元(约合67亿美元)、从2022年春开始夜以继日施工的台积电工厂即将竣工。该工厂计划于2024年年底投产,但今年8月以后来自台湾总部的派驻人员及家属开始陆..

三星激进!全球首款4亿像素传感器曝光:尺寸接近1英寸快科技10月9日消息,据爆料,三星申请了Hexa²Pixel商标。众所周知,三星Galaxy S22 Ultra主摄为1.08亿像素,它支持像素9合1,可以输出1200万像素样张(108÷9=12)。这次三星申请Hexa²Pixel商标,意味着三星正在开发36合1的图像传感器(Hexa=6,Hexa的平方=36),根据1.08亿像素9合1输出1200万像素样张进行反向推算,36合1意味着主摄分辨率超过了4亿像素。据悉,三星正在开发两款4亿像素传感器,这两款传感器都拥有4.32亿像..

年产15GWh!比亚迪动力电池二期首批项目首批量产产品下线快科技10月9日消息,据“射阳发布”官方,近日,比亚迪动力电池二期项目迎来首批量产动力电池下线。据悉,比亚迪动力电池项目由比亚迪股份有限公司投资建设,其中一期项目已于去年10月份实现竣工投产,二期项目总投资75亿元,用地800亩,计划打造8条生产线,年产15GWh新能源动力电池。车间目前设置两条生产线,采用模块化生产方式,将复杂的生产流程分解为多个模块,由各个小组完成不同模块,同时单个模块功能可调试升级,又能使..

“耀耀领先”!荣耀Magic Vs2正式官宣:10月12日发布10月9日,荣耀官方正式宣布:全新折叠旗舰荣耀Magic Vs2定档10月12日。与新机一起亮相的还有荣耀手表4 Pro。荣耀Magic Vs2官宣荣耀分别以“轻薄更进一步”“融合经典与科技”来描述Magic Vs2和荣耀手表4 Pro。日前,荣耀已经发布了一段视频,来展示荣耀Magic系列新品。在视频中,荣耀称“它可以塞进你身上所有的口袋,西装也优雅,就算是紧身牛仔裤,也毫不费力”。可以看出,轻薄便携将成为Magic Vs2的重要卖点。作为参考..

Meta Quest 3上市在即,部分重要功能还要等DoNews10月9日消息,Meta Quest 3 头显将于下周发售,这款设备拥有许多新功能,但其中一些则要等到年底或以后才能推出。据外媒 Mixed 报道,首先,Quest 3 有一个独特的上半身追踪功能,目前市场上没有其他独立头显能够提供。该功能可以在没有外部摄像头的情况下追踪用户的手臂和躯干,从而提高沉浸感,让虚拟形象更自然,以及创造新的游戏机制。上半身追踪和人工智能生成的腿部将于 12 月份推出给开发者。这款设备的混..

曝MIUI 14是最后一个正式的大版本,小米MIOS要来了?10月9日,数码博主@数码闲聊站 又曝了一个大料。该博主称:“基本确定了,MIUI 14会是MIUI的最后一个正式的大版本。”他表示,作为MIUI的封箱作品,MIUI 14算是一个优秀的“毕业设计”了,基础体验妥妥行业第一梯队,只有动效还在拖后腿。希望新作能把这个短板彻底消灭掉!相关爆料从@数码闲聊站 的爆料来看,MIUI 15应该是没有了。那接下即将发布的小米14会搭载什么系统?有网友问“小米14系列是不是搭载MIOS了?”该博主..

外媒评“今年最值得买的16大手机品牌”小米,诺基亚在列印度是世界上最大的手机市场之一,为消费者提供了大量的选择。对于该国消费者来说,有这么多的手机品牌可供选择,确定哪家公司可以提供最合适的产品可能是一项挑战。据手机中国了解,外媒评选出了“2023年最值得购买的16大智能手机品牌”。虽然数量有点多,但对于消费者来说也具有一定的参考意义,至少不会买到山寨产品。小米手机据了解,这16家智能手机品牌分别是苹果、三星、小米、vivo、OPPO、一加、摩托罗拉、诺基亚、华硕、..

一加新机要来了?一加总裁转发“一加手机12”网友微博此前有多重消息证实,高通骁龙8 Gen3很可能会在10月底正式发布,而随着全新处理器的发布,在接下来的两个月内,即将会有一大批搭载该移动平台的新机亮相,这其中很可能也包括最新的一加12系列。网传一加12渲染图10月9日上午,一加中国区总裁李杰在微博转发了一位名叫“一加手机12”的网友的发文,该网友表示:“这泼天的富贵终于要轮到我了,为了这一刻,我等了7年。@一加手机 #一加12# 这七年来我忍辱负重,不顾别人对我昵称..

vivo,传音计划推出全球首款卷轴屏手机,或明年亮相据报道,vivo和传音计划推出全球首款卷轴屏手机。传音去年9月推出过一款卷轴屏概念手机。业内人士9日表示,vivo、传音等中国智能手机公司正在积极开发卷轴屏手机,并计划在明年年底之前率先推出。卷轴屏手机是指屏幕可以部分展开的智能手机。按下操作按钮,部分隐藏的屏幕将出现,产品屏幕会相应地变大。去年9月,传音推出了一款卷轴屏概念手机Techno Phantom Ultimate,当按下产品顶部的按钮时,6.55英寸的屏幕会在1.2至1.3秒..

曝Redmi K70系列定档11月发布,超大存储加量不加价此前,红米Redmi K70系列现身IMEI数据库,共有三款新机,分别是Redmi K70、K70E和K70 Pro,可能会在明年1月推出。而根据最新爆料,Redmi K70系列发布时间将会提前。10月9日,手机中国注意到,有数码博主爆料称,Redmi K70系列定档11月发布,全系采用骁龙移动平台,主摄优化不错,超大存储加量不加价。该博主此前还爆料该系列正在测试金属中框,将采用一块2K直屏,各方面都挺全能。Redmi K60至尊版IMEI数据库显示,Redmi K..