6、Yan 模型能够部署在办公电脑上吗？-岩山科技互动平台-特特股

网友提问：6、Yan 模型能够部署在办公电脑上吗？

2024-03-15 00:00:00

岩山科技 (002195): 回答：原生结构的 Yan 架构模型，在零压缩、零裁剪的情况下，依然能够流畅运行于主流消费级 CPU 设备，例如经训练后的模型可以部署在配置了 Intel i7、i5CPU 的笔记本电脑或台式机，以及 M 系列芯片的 MacBookPro 等。对比之下，70 亿（7B）参数量的 Transformer 却无法在上述 CPU 设备上直接运行，通常 Transformer 需要经过 8bit 甚至 4bit 的量化后才能正常运行，这不可避免的带来了推理精度的损失。