30+tokens/s，面壁MiniCPM在英特尔AI PC上的最佳实践

日前，「2B性能小钢炮」面壁MiniCPM，受邀亮相2024全新英特尔商用客户端AI PC产品发布会。

面壁智能是英特尔重要的AI PC生态合作伙伴。在这场以“AI生产力，行业‘芯’动力”为主题的大会上，我们和来自不同领域不同行业的35+家ISV合作伙伴从不同维度分享了六大场景的本地AI应用。

面壁MiniCPM，是全球领先的轻量高性能大模型，已经和最新的英特尔® 酷睿™ Ultra处理器平台完成适配，在采用了英特尔® 酷睿™ ULTRA 9处理器的AI PC上推理速度能到30+tokens/s。企业可以在全新的英特尔商用客户端AI PC上快速本地化部署和运行面壁MiniCPM，以小的模型、更快的速度、更低的成本实现多种基于AI PC的智能化应用场景，提升PC端生产力！

它极致的「以小博大」， 越级超越Mistral-7B、Llama2-13B乃至更大的全球知名模型，同等性能参数更小、同等参数性能更强。

它极致高效低成本，通过独特的「模型沙盒」实验、自研全流程高效Infra和自建现代化数据工厂，跑通了独树一帜的高效训模模式。支持CPU推理，1元 = 1,700,000 tokens。

我们展示了面壁MiniCPM在英特尔AI PC上的多样化应用。

在知识问答方面，面壁MiniCPM可以准确、快速地进行多轮对话。

模型虽小，但也具备撰写代码的能力。甚至，MiniCPM 还能够写出一串「复刻自己」的代码片段。

此外，多模态模型面壁MiniCPM-V还可以精准识图，降低幻觉。MiniCPM-V可以根据《清明上河图》的部分内容推理出作品名称。

在下面的这张拟态图中，MiniCPM-V还识别出了小熊身上的猫咪。

未来，面壁MiniCPM将携手更多端侧合作伙伴，以「大模型+Agent」双引擎驱动，推进大模型高效训练、快步应用。

🔗 面壁官网：https://modelbest.cn

💼 商务合作：business@modelbest.cn

🙌 加入我们：career@modelbest.cn