AI漫长的历史中,ChatGPT绝对是浓墨重彩的一笔。正是它引爆了AI大模型概念,也让以往高高在上的AI飞入了寻常百姓家,开始融入每个人的日常工作、生活,AI PC、AI手机、AI边缘也都在大踏步前进,变革千行百业。
有调研数据显示,预计到2026年,AIGC相关投入将超过3000亿美元,到2028年,80%以上的PC都会转换成AI PC,而在边缘应用中AI的普及率也将超过50%。
AI大模型等应用最需要的当然是高算力,GPU加速器随之变得炙手可热,但是AI的发展与变革同样是多元化的,CPU通用处理器、NPU神经网络引擎也都在各司其职,贡献自己的力量。
尤其是传统的CPU,也在紧跟时代的脚步,全方位拥抱AI,Inte第五代至强(Emerald Rapids)就是一个典型代表。
Intel 2023年初发布的第四代至强(Sapphire Rapids),年底就升级为第五代,速度之快前所未有,主要就是为了跟上形势,尤其是AI的需求,很多指标都是为此而优化的。
这包括更多的核心数量、更高的频率、更丰富的AI加速器,都带来了性能和能效的提升,对于AIGC非常有利。
还有多达3倍的三级缓存,可以减少对系统内存的依赖,内存带宽也同时进一步提升。
软件生态方面,Intel提供了全方位的开发支持与优化,尤其加大了对主流大模型、AI框架的支持,特别是PyTorch、TensorFlow等等,在AI训练、实时推理、批量推理等方面,基于不同算法,性能提升最多可达40%,甚至可以处理340亿参数的大模型。
根据Intel提供的数据,五代至强SPECInt整数计算性能提升21%,AI负载性能提升最多达42%,综合能效也提升了多达36%。
具体到细分领域,图像分割、图像分类AI推理性能提升最多分别42%、24%,建模和模拟HPC性能提升最多42%,网络安全应用性能提升最多69%。
网络与云原生负载能效提升最多33%,基础设施与存储负载能效提升最多24%。
有趣的是,Intel指出五代至强也有很高的性价比,其中一个评估标准就是同时支持的用户数,五代至强可以在BF16、INT8精度下同时满足8个用户的实时访问需求,延迟不超过100ms。
五代至强的优秀,也得到了合作伙伴的验证,比如阿里云、百度云都验证了五代至强运行Llama 2 700亿参数大模型的推理,其中百度云在四节点服务器上的结果仅为87.5毫秒。
再比如京东云,Llama 2 130亿参数模型在五代至强上的性能比上代提升了多达50%。
接下来,Intel至强路线图推进的速度同样飞快,今年内会陆续交付Granite Rapids、Sierra Forest两套平台,均升级为全新的Intel 3制程工艺。
其中,Sierra Forest首次采用E核架构,单芯片最多144核心,双芯整合封装能做到288核心,今年上半年就能问世。
Sierra Forest主要面向新兴的云原生设计,可提供极致的每瓦性能,符合国家对设备淘汰换新的要求,而且因为内核比较精简,可以大大提高同等空间内的核心数量。
紧随其后的Granite Rapids,则依然是传统P核设计,具备更高频率、更高性能。
Granite Rapids针对主流和复杂的数据中心应用进行优化,尤其是大型程序,可以减少对虚拟机的依赖。
到了2025年,Intel还会带来再下一代的至强产品,代号Clearwater Forest,无论制程工艺还是技术特性抑或性能能效,都会再次飞跃。
那么问题就来了,Intel至强的更新换代如此频繁,尤其是五代至强似乎生命周期很短,它究竟值不值得采纳部署呢?适合哪些应用市场和场景呢?
五代至强发布之初,Intel从工作负载优化性能、高能效计算、CPU AI应用场景、运营效率、可扩展安全功能和质量解决方案五个方面进行了介绍。
现在,我们再换一个维度,从另外五个方面了解一下五代至强的深层次价值。
一是制程工艺改进。
五代、四代至强都是Intel 7工艺,都采用了Dual-poly-pitch SuperFin晶体管,但也改进了关键的技术指标,特别是在系统漏电流控制、动态电容方面,它们都对晶体管性能有很大影响。
通过这些调整,五代至强在同等功耗下的整体频率提升了3%,其中2.5%来自漏电流的减少,0.5%来自动态电容的下降。
二是芯片布局。
受到芯片集成复杂度、制造技术的限制,现在主流芯片都不再是单一大芯片,而是改为多个小芯片整合封装。
四代至强分成了对称的四个部分,做到最多60核心,五代至强则变成了镜像对称的两部分,核心数反而提升到最多64个。
之所以如此改变,是因为切割的小芯片越多,彼此互相通信所需要的控制器、接口和所占用的面积也更多,还会额外增加功耗,并降低良品率。
通过芯片质量控制,五代至强可以更好地控制芯片面积,并且在相对较大的面积下获得很好的良率,镜像对称的布线也更灵活。
这是五代至强单个芯片的布局图,可以看到中间是33个CPU核心和二三级缓存,其中一个核心作为冗余保留。
左右两侧是DDR5内存控制器,上方是PCIe、UIPI控制器,以及DLB、DSA、IAA、QAT等各种加速器,底部则是EMIB封装和通信模块,用于双芯片内部高效互连。
说到连接,五代至强使用了高速内部互连Fabric MDF,包括七个SCF(可扩展一致性带宽互连),每一个都有500Gbps的高带宽,让两颗芯片在逻辑上实现无缝连接。
三是性能与能效。
看一下五代至强的关键性能指标:
- CPU架构升级到Raptor Cove,13/14代酷睿同款。
- 核心数量增加,最多60核心来到最多64核心。
- 三级缓存扩容,平均每核心从1.875MB增加到5MB,这是历代提升最大的一次。
- DDR5内存频率从4800MHz提升到5600MHz。
- UPI总线速度从16GT/s提供到20GT/s。。
- 芯片拓扑结构更改,四芯片封装改为双芯片。
- 待机功耗降低,通过全集成供电模块(FIVR)、增强主动空闲模式等技术实现。
四是三级缓存。
至强处理器以前每核心的三级缓存都只有1-2MB,这次直接来到了5MB,总容量最多达320MB。
在数据集不是很大的情况下,三级缓存本身就可以基本承载,无需转移到系统内存,从而带来极大的性能提升。
但是,缓存容量并不是单纯堆起来的,因为大缓存会面临可靠性问题,尤其是在大规模数据中心里存在一个比特反转的软故障,缓存越大,故障几率越高,当错误足够多而无法纠正的时候就会导致系统宕机。
这就需要超强的纠错机制,五代至强就采用了新的编码方式DEC、TED,一个缓存行出现两个位错误的时候也可以纠正,三个位错误的时候也可以检测,比传统单位纠错、两位检错有着更强的容错性,此外还有一些新的数据修复方案。
五是内存IO。
DDR5-4800升级到DDR5-5600,看似幅度不大,但其实很不容易,因为内存速度提升后,从芯片到基板需要全线进行优化匹配,包括供电和噪音控制等。
为了保证高频下的信号完整性,五代至强还加入了4-tap DFE功能,尽可能减少码间干扰(ISI)。
最后再单独说说基于至强这样的通用处理器的AI负载应用,以及相应的解决方案。
其实,AI应用并非只是大模型,还有大量的传统非大模型AI应用,都非常适合在CPU上部署。
比如基因测序这样的科学计算,2018年至今,至强每一代都有显著提升,因为科学计算很多时候就是“暴力”计算,最考验CPU的处理能力。
除了硬件上的支持,Intel还有强大的软件生态优化,包括基于OpenVINO对整个模型进行优化、量化,在推荐、语音识别、图像识别、基因测序等方面Intel都做了大量的优化。
比如模型非常大的推荐系统、稀疏矩阵等应用,CPU的效率其实优于GPU,因为单个GPU不够用的时候就得跨GPU,或者和CPU频繁交互传输,而在与内存互通方面CPU的效率是更高的。
其他像是网络、数据服务、存储等等,至强无论性能还是能效都在行业处于领先地位,更关键的是系统故障率非常低。
对于通用的AI工作负载,Intel采用了AMX、AVX-512两个指令集,并基于OpenVINO进行优化。
AMX适合处理BF16、INT8数据类型,比如推荐系统、自然语言处理、图像识别与目标检测等等。
AVX-512适合处理FP32、FP64数据类型,比如数据分析、机器学习等等。
在推理的过程中,指令集还可以进行灵活切分,通过加速器定向加速某一部分,替代基于GPU的AI模型是完全没有问题的。
事实上,AI只是工作负载的一部分,更多的是通用负载,很多深度学习模型也都是“混合精度”,四代、五代至强运行它们的时候都可以根据需要在AMX、AVX-512之间灵活无缝切换。
针对大模型的加速,Intel也推出了自己的框架BigDL LLM,有很多框架层针对CPU进行了大量的优化,并针对模型做了量化。
另外,Intel拥有开放的生态,行业伙伴和友商都可以直接纳用,这对Intel自身来说也是一件好事,可以带动整个生态的发展,让Intel的解决方案得到更广泛的普及。
总的来说,在这个AI时代,CPU、GPU、NPU等各种计算引擎都有自己的独特优势,都有自己的适用场景和领域,不存在谁取代谁,更多的是灵活的选择与协同的高效,需要结合具体业务的能效、成本等多方面综合考虑。
CPU作为最传统的通用计算引擎,始终都会占据不可替代的地位,无论是作为整个计算平台的中心枢纽,还是对各种通用负载、AI负载的灵活处理,未来依然可以横刀立马!
发表评论