卷入大模型，手机厂商的新叙事

卷入大模型，手机厂商的新叙事

小米大机型在雷军2023年度演讲期间首次公开亮相。

雷军提到，与很多互联网平台不同，小米大机型的关键突破方向是轻量级、本地部署，可以运行在手机端。

他表示，目前13亿参数规模的MiLM1.3B模型已经在手机上运行，​​效果堪比60亿参数大型模型云计算的结果。 在他晒出的成绩单中，小米的端侧大模型在CMMLU中文评测的各项题目中表现均优于智普AI的-6B模型，与百川智能的-13B大模型的分数差距在5分左右。 关于。

此前，小米研发的大规模预训练语言模型MiLM-6B/1.3B已在代码托管平台上线，在C-Eval总榜中排名第十，在同参数量级中排名第一，在中国大型模型标杆“CMMLU”、“MiLM-6B”排名第一。

当然，由于这些测试榜单的维度都是公开的，对于很多大型模特公司来说，根据测试任务来提升排名和分数并不困难。 因此，这些评测结果只能作为参考，并不代表结果绝对优秀。

同时，雷军还宣布，小爱同学作为小米大机型首个应用，进行了全新升级，正式开放测试。

这是小米自今年4月宣布成立新的大型模型团队以来，历时四个月取得的阶段性大型模型成果。

小米的做法给大模型的落地带来了哪些新思路？ 对于不断迭代新技术的手机厂商来说意味着什么？

01 小米不做通用大机型，核心团队30人左右

小米是大模型路线上的理性主义者——不追求参数规模，不做通用大模型。

在此前的财报电话会议上，小米集团总裁卢伟冰表示，小米会积极拥抱大机型，方向是与产品和业务深度融合，不会做一般的大机型。

据深燃此前报道，小米集团AI实验室主任王斌博士曾表示，小米不会发布单独的产品，自研的大模型最终会由产品带出来，相关投资约为数十数百万元。

他表示：“对于大模型，我们是理性主义者。小米在应用场景上有优势，我们看到的是大模型与场景结合的巨大机会。”

他透露，小米在诞生之前，内部就做过大机型相关的研发和应用。 当时采用预训练+下游任务监督和微调的方式进行人机对话，参数规模从28亿到30亿不等。 这主要是通过基于预训练的基础模型对对话数据进行微调来实现的，并不是现在所谓的通用大模型。

公开资料显示，小米大模型团队现任负责人是AI语音方向专家栾健，向技术委员会副主席、AI实验室主任王斌汇报。 整个大型模特团队约有30人。

栾健曾任智能语音机器人“微软小冰”首席语音科学家、语音团队负责人。 曾任东芝（中国）研究院研究员、微软（中国）工程院高级语音科学家。 加入小米后，栾健一直负责语音生成、NLP等团队，以及相关技术在小爱同学等产品中的落地。 王斌于2018年加入小米，自2019年起负责AI实验室。加入小米之前，他曾任中国科学院信息工程研究所研究员、博士生导师，拥有近30年的研究经验在信息检索和自然语言处理领域拥有丰富的经验。

放大模型还依赖于小米背后的AI团队。 雷军表示，经过7年6次扩张，小米AI团队已突破3000人，涵盖CV、NLP、AI成像、自动驾驶、机器人等领域。 。

02 谷歌、高通、华为入局

除了小米之外，让大机型跑在手机上是目前不少科技公司的重点目标。

科技公司正在想象大型模型将带来的可能性：无论你打开WPS、石墨文档还是电子邮件，只要输入书写等命令，手机就可以利用本地能力生成完整的文章或电子邮件。 在手机上，所有App都可以随时调用本地大模特，帮助处理工作、解决生活问题。 人们与手机上各种App的交互不再是频繁的点击，而是可以通过语音进行智能召唤。

许多公司正在尝试缩小模型的尺寸，以便在手机本地运行大型模型更加实用和经济。 今年5月的I/O大会上，谷歌发布PaLM2时，按照尺寸从小到大分为四种规格：Gecko、Otter、Bison和Gecko。 最小的Gecko可以在手机上运行并且速度最高。 速度很快，每秒可以处理20个token，大致相当于16或17个单词，还可以支持手机离线操作。 但当时谷歌并未透露该型号将用于哪款手机上。

高通已经给出了具体的结果。 今年3月，高通在搭载第二代骁龙8的智能手机上运行了超过10亿个参数的图模型。在演示中，工作人员用它在未连接手机的手机上生成图像。互联网。 整个过程持续了15秒。

在6月计算机视觉顶级学术会议CVPR上，高通展示了在手机上运行15亿个参数的模型，绘图时间仅为11.26秒。 高通产品管理高级副总裁兼AI负责人Ziad表示：从技术上讲，只需不到一个月的时间就能将这些参数超过10亿的大型模型搬到手机中。

最新举措是，高通宣布与 Meta 合作，探索使用高通 芯片在智能手机、PC、AR/VR 耳机、汽车等设备上运行基于 Llama 2 型号的应用程序，而无需连接互联网。 服务。 高通表示，与基于云的LLM相比，在设备本地运行Llama 2等大规模语言模型不仅成本更低、性能更好，而且不需要连接在线服务。 服务也更加个性化、更安全、更私密。 。

尚未正式公布任何大型机型的苹果也在探索大型机型在设备端的落地。 据英国《金融时报》报道，苹果正在全线招募工程师和研究人员来压缩大型语言模型，以便它们能够在 和 iPad 上高效运行。 主要负责团队是机器智能和神经设计（MIND）团队。

目前，互联网上有一个流行的开源模型MLC LLM项目可以支持本地部署。 它通过仔细规划分配和主动压缩模型参数来解决内存限制，并且可以在各种硬件设备上运行AI模型。 该项目由CMU助理教授、CTO陈天琪等研究人员共同开发。 团队以机器学习编译（MLC）技术为基础，高效部署AI模型。 MLC-LLM上线不到两天，Star数已接近1000。 有人测试过在飞行模式下本地运行大型语言模型。

与谷歌、高通等国外强调大模型部署在设备本地、可离线运行不同，国内手机厂商目前优先将大模型实现在手机语音助手或现有的图像搜索功能上。 此次升级的本质是调用更多云能力来配合大型模型。

此次，小米的语音助手小爱同学使用了大号机型。 不过，由于小米端侧大机型的相关信息尚未披露，因此无法准确判断小米大机型未来的发展路径。 从雷军强调的本地部署和轻量化方向来看，小米未来可能会尝试在手机上离线运行大型模型。

华为也在尝试在手机上实现大型模型，但其重点仍然是手机语音助手和图像搜索场景。 此前4月份，在华为新发布的手机P60上，全新智能图片搜索功能的背后是多模态大模型技术。 在此过程中，模型在手机端被小型化。 近期，华为全新升级的终端智能助手小蚁也基于大机型优化了体验。 它可以根据语音提示推荐餐厅、进行汇总总结等新功能。

OPPO、vivo也在朝这个方向努力。 8月13日，OPPO宣布基于小布助手打造的全新小布助手即将上线体验。 从数据可以看出，小布助手集成大规模模型能力后，可以进行对话，文案能力将会增强。 它是OPPO晶心智能云团队打造的基于混合云架构的生成式大语言模型。

对于手机厂商来说，无论是本地部署还是使用云端能力，大机型都是手机不可错过的新机会。

03 手机运行大模型时的关键问题是什么？

让大型模型在手机上运行并不是一件容易的事。

计算能力是首要问题。 在手机上使用大模型，不仅需要调用云端的计算能力，还需要调用终端设备的计算能力。 由于大模型资源消耗大，每次调用都意味着高昂的成本。 John主席曾提到，使用大语言模型的搜索成本比之前的关键词搜索成本高出10倍。 去年，谷歌上有 3.3 万亿次搜索查询，每次费用约为五分之一美分。 华尔街分析师预测，如果谷歌使用大型语言模型来处理一半的搜索问题，每次提供约 50 个单词的答案，那么到 2024 年，谷歌可能会面临 60 亿美元的支出增长。

（来源：路透社）

在手机上运行大型模型也面临着类似的成本问题。 正如高通发布的《混合AI是AI的未来》报告中提到的，正如传统计算从大型机和客户端发展到现在的云和边缘终端的结合一样。 型号是一样的。 在设备端运行大型模型还需要混合AI架构来分配和协调云端和边缘终端之间的AI工作负载，让手机制造商能够利用边缘终端的计算能力来降低成本。 允许大型模型在本地部署就是出于这种成本的考虑。

另外，手机作为每个人的私人物品，是数据的产生地，大量的隐私数据存储在本地。 如果能够实现本地部署，将为个人提供安全和隐私方面的保护。

这就带来了第二个问题。 如果想要利用更多的设备端能力来运行大型模型，如何才能让手机的能耗非常低，同时仍然让模型高效呢？

高通表示，将大型模型部署到手机等本地设备的关键能力在于高通软硬件的全栈AI优化，包括高通AI模型增强工具包（AIMET）、高通AI引擎和高通AI软件栈等相关技术可以压缩模型体积、加速推理、降低运行延迟和功耗。 高通全球副总裁、高通AI研究负责人侯继雷曾提到，高通高性能AI研发的重要组成部分是整体模型效率研究，目的是在多个方向上降低AI模型的效率，从而降低AI模型的效率。它可以在硬件上高效运行。 。

单一模型压缩是一个很大的困难。 有些模型压缩会对大型模型的性能造成损失，而有一些技术方法可以实现无损压缩。 这些需要借助各种工具进行不同方向的工程尝试。

这些关键的软硬件能力对于手机厂商来说都是巨大的挑战。 如今，不少手机厂商已经迈出了在手机上运行大机型的第一步。 接下来，如何让更好的大机型更经济高效的出现在每一款手机中，是更加困难和关键的一步。

冒险才刚刚开始。