新华网财经观察｜大模型落地应用：难点与破局

新华网北京题：大模型落地应用观察：难点与破局

把大模型装进小终端，前景无限，挑战并存。在智谱AI首席执行官张鹏看来，如何在较低传输量基础上让模型更智能，怎样在移动端提供独有的资源支持大模型运行，这是大模型进入终端遇到的一大难题。

成立仅5年的智谱AI，如今已成为模型开发领域的一颗新星。谈到怎样为大模型落地创造空间，张鹏认为合作是关键，“一方面是要做好大模型全自研，另外硬件厂商和模型算法厂商、操作系统等一系列生态技术厂商需要一起合作。”智谱AI已与英特尔、高通等协作，让大模型跑在了PC、手机、汽车等各类终端上。

“关闭前置摄像头”“把电脑音量调静音”“按照我的阅读习惯生成摘要”……消费者发现，如今使用某品牌的新品电脑更简便了。通过与电脑进行简单对话，就能取代以前复杂的操作。据厂商介绍，未来随着版本迭代，甚至还能帮用户实现编发邮件、制作个性化海报、理解一张图里蕴藏的意思等更高难度的功能。

“2022年，联想就着手计划将大模型放置于本地。”联想集团全球中小企业产品与解决方案总经理郑爱国说，当时大模型参数太大，本地难以承载。直至去年，大模型开发企业将重点下探至6-7B，联想开始意识到，大模型本地计划的实施难度降低。去年5月，联想便将端侧AI大模型与PC项目进行了结合。

小米集团AI实验室主任王斌认为，一方面模型在变小，另一方面计算能力在变大，硬件能力在变强，再加上各种需求反推，预计在端侧，会出现一些杀手级的AI应用。

记者梳理某电商平台在售的AI手机产品发现，语音、图像和AI助手是AI手机最集中的三大功能点。当下，主流手机厂商正积极部署轻量大模型，使AI无感化，并大力开拓AI应用场景。有市场研报预测，AI手机在私人智能助理和提升办公能力等方面呈现较大价值前景。每个终端都内置一个属于自己的AI助理正在成为现实，这被视为人人可享的AI未来。

AI图像识别、语音唤醒、计算摄影等端侧AI用例，看似简单，实际上对芯片的算力、DDR带宽都有非常强的要求。

智能手机上AI用例的迅速增长，突显了高通这家公司的重要性。“高通在设计的一开始，就将AI的理念贯穿到整颗SoC。”高通公司AI产品技术中国区负责人万卫星介绍说，针对大模型对DDR带宽的挑战，高通开发了量化技术、压缩技术，减少模型大小；针对大模型对算力的要求高，高通在NPU上做了非常专业的设计，满足不同用例的多样性需求。

此外，百模齐放，具体到端侧大模型又细分成很多类，而目前在不同终端，模型与模型之间的沟通能力尚未建立。因此在中关村智用人工智能研究院院长孙明俊看来，“未来一段时间，在技术标准的统一和互操作性上，会是一个非常庞大的需要各方去解决的一个技术问题。”

“应用为王”，这一理念在大模型技术发展与落地中尤为重要。调研采访中，业内人士普遍认同，大模型真正的价值在于解决实际问题，要为用户创造实实在在的价值。

随着“人工智能+”行动向纵深推进，期待在多方协作下，大模型技术乘着“飞轮效应”之风，既赋能千行百业、加快形成新质生产力，又在不断落地应用中反哺技术迭代与性能提升，开辟大模型应用新的境界。