科大訊飛：聯(lián)合華為實(shí)現(xiàn)國(guó)產(chǎn)算力大規(guī)模跨節(jié)點(diǎn)專家并行集群推理

3月11日，科大訊飛發(fā)布消息稱，科大訊飛聯(lián)合華為近日率先實(shí)現(xiàn)國(guó)產(chǎn)算力大規(guī)模跨節(jié)點(diǎn)專家并行集群推理。據(jù)其介紹，通過分布式架構(gòu)創(chuàng)新與算法協(xié)同優(yōu)化，單卡靜態(tài)內(nèi)存占用縮減至雙機(jī)部署的1/4，效率提升75%，專家計(jì)算密度增加4倍，推理吞吐提升3.2倍，端到端時(shí)延降低50%。這一解決方案也將應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速，預(yù)期訓(xùn)練時(shí)推理效率將提升200%。