燧原科技发布第二代云端人工智能推理加速卡
12月7日,燧原科技发布第二代云端人工智能推理加速卡“云燧i20”。从训练到推理,标志着云端AI推理加速产品已升级进入第二代。作为全新一代云端AI推理加速产品,云燧i20AI加速卡存储带宽达819GB/s;对比第一代推理产品,云燧i20将浮点算力提升到1.8倍,整型算力提升到3.6倍。
此次升级并非算力的简单优化,升级后的“驭算TopsRider”软件栈,在性能、开发效率和模型覆盖面上得到大幅提升。通过引入通用高层图优化和大规模算子融合技术,充分释放了大容量片内存储和高带宽存储的利用率,将模型平均性能提升3.5倍,硬件算力利用率平均提升2倍;通过升级的编程模型以及算子自动分片、自动生成技术,自定义算子开发效率翻倍,模型迁移成本大大降低。
据介绍,新一代“邃思”AI推理芯片采用第二代高性能计算核心和数据引擎,由12纳米工艺打造,通过架构升级,大大提高了单位面积的晶体管效率,从而实现了与目前业内7纳米GPU相匹敌的计算能力。
燧原科技COO张亚林说,“云燧i20全面提升了算力,在兼顾全精度算力的同时大幅度提高了整型运算,大力加强了模型覆盖率和泛化支持的能力,在多项基准测试中,其模型性能、能效比均处于国内领先水平,可以满足云端推理业务高度多样化的需求。”
之江实验室发展合作部副部长吴丽娟表示,“之江实验室今年3月与燧原科技成立联合研究中心,围绕人工智能应用场景,共同开发具有标杆性的技术解决方案,构建开源开放的创新生态系统。目前,燧原科技的第一代人工智能训练产品‘云燧T11’正在之江实验室搭建千卡高性能计算的液冷集群,打造符合国家碳中和政策导向的低碳绿色数据中心。未来,我们还会在智能计算的更多领域合作研发。”
(责任编辑:张雪)