想在手机上本地跑AI？还是让子弹飞一会吧

让子弹飞一会

" 自 1971 年的 Intel4004 ——人类首款商用微处理器的诞生以来，这颗由硅材料打造的人类智慧的象征，已经历了超过半个世纪的风风雨雨。

在这个过程中，处理器的演进历程充满了激烈的品牌竞争和市场需求的不断变迁。不同的时代见证了处理器发展的不同趋势：有过追求 CPU 主频至极致的年代，有过对多核心架构探索无止境的时期，也有过对指令集进行深度优化和改革的时刻。

此外，随着智能手机、智能汽车的崛起，研发重心也从桌面计算转向了移动端。可以说，每一次处理器的重大升级和变革都是应时代需求而生的产物。这不仅是技术进步的必然结果，也是科技产业发展的生动注解。"

Intel 4004

Intel i9-13900K

在 2023 年的科技领域，无论是桌面还是移动处理器，它们都已经开始步入了 AI 的新纪元。自 OpenAI 的 ChatGPT 引发了 AI 技术的爆发性增长后，AI 已经成为了 2023 年全球科技界的主宰主题。位于科技漩涡中心的处理器市场自然也受到了这股风潮的影响。

图片源自于互联网

下半年以来，各大处理器品牌都开始着手布局 AI 产品线。NVIDIA 以其无可匹敌的地位推出了 H800 和 A800 等专业 AI 计算加速卡。

而在消费级桌面端市场，Intel 和 AMD 也不甘示弱，Intel 计划在其第 14 代处理器 Meteor Lake 中首次集成 AI 加速引擎（NPU），而 AMD 在 2023 年发布的 7040 系列处理器中集成了 AMD Ryzen AI 引擎，这是一款专门用于神经网络 AI 运算的处理单元，最高可实现每秒十万亿次的 AI 运算。

在移动设备领域，高通和联发科也将 AI 计算能力作为其年度旗舰芯片的重点宣传对象。苹果的 A17pro 和 M3 也在持续优化其 NPU 架构和增加神经引擎的核心数量，以期在苹果未来的 AI 生态中发挥出更大的作用。这些新动态都预示着，AI 技术不仅正在颠覆我们的生活，更在深度重塑全球的科技格局。

骁龙 8Gen3 官方宣传资料

当前 AI 在桌面端上的表现我们有目共睹，LLMs 与 SDXL 为首的应用正在对多个行业产生着重要冲击，而移动端侧仿佛在 2023Q4 也开始了 " 春秋之战 "。

那事实上，移动端侧的 AI 计算能力到底如何了呢？作为普通消费者是否对移动端本地化 AI 计算有所需求呢？

01 7B，10B，13B 参数 AI 模型，这个 B 是个什么玩意？

AI 生成 -Midjourney

相信很多小伙伴都看到 " 高和联 " 两家旗舰芯片的宣发时都会注意到，他们都将成功运行 XXB（多少亿）参数 AI 大语言模型的字眼作为营销重点。

图片源自于互联网

那么这个 B 或者说参数量级是什么意思？在 AI 模型领域，"B" 通常代表 "billion"，也就是十亿，它指的是模型参数的数量。例如，"LLama-2-7B" 中的 "7B" 意味着这个模型有大约 70 亿个参数。

Meta 开发的 LLama-2-7B 模型，服务于移动设备或低功耗 PC

参数数量是衡量模型复杂度的一个重要指标。一般来说，参数越多，模型的复杂度越高，对数据的拟合能力越强。简单说，这个数字很是关键，通常情况下，参数越多，模型的处理能力和理解复杂性越强，但也需要更多的计算资源。

丰富的模型参数数量如同给一位厨师以丰富的食材原料 ( AI 生成 -Midjourney )

02 那参数量是越大越好吗？

不见得，在某些情况下，特化的小模型可能在特定任务或场景上表现得比大模型更好。这是因为小模型可以更好地针对特定的任务进行优化，而大模型可能在尝试适应更广泛的任务时失去了一些特定性。

例如，假设我正在开发一款专注于美容美颜主题的 AI 大语言模型。我收集了所有关于美容养颜的网络资料，最终模型的参数量达到了 30 亿（3B）。尽管参数量较小，但模型能够更精确地针对特定任务进行优化，有效避免过拟合问题。同时，模型可以专注于与特定任务相关的特征，无需学习大型模型中的无关特征。相比之下，这种专注性使得小型模型在某些方面超越了参数量为 30B 或 50B 的通用大型模型。

AI 生成 -Midjourney

从某开源 AI 模型的测试成绩中，我们也可以看到这一点。在这次测试中，LLaMA2-13B 模型的子项分数和平均分数均优于 Aquila2-34B 模型。

图片源自于互联网

03 主流的 AI 大语言模型的参数量是多少？

以我们熟知的 ChatGPT 为例，其 GPT-3.5 版本（于 2022 年 12 月发布）拥有 1750 亿（175B）参数。而目前我们最常用、最熟悉的 GPT-4 在完整的 120 层模型中拥有 18000 亿（1800B）参数。另一个表现出色的模型，Claude 2，其参数量为 1300 亿（130B）。

图片源自于互联网

在国产模型方面，尽管百度的文心一言没有公开其参数量，但根据我们的推算，其最新的 4.0 版本的参数量预计也已超过千亿，即 1000 亿（100B）以上。最近流行的国内大模型月之暗面（Moonshot）的参数量也超过了千亿。在部分小模型中，阿里云的通义千问开源版本达到了 140 亿（14B）参数量。

图片源自于截图

04 移动端处理 AI 性能的能力

尽管 MTK 9300 和高通 8gen3 这两款旗舰芯片没有公开其实际运行模型的测试过程，我们仍可以从它们的声明中获取一些信息。MTK 9300 强调，它可以在运行参数量为 70 亿（7B）的模型时实现 20 tokens/s 的性能。

需要注意的是，"tokens" 这个词在这里的含义可能会有所不同，它可能指一个词、一个字符，或者在某些语言中的一个字母。

MTK 9300 的官方宣传素材

在高通方面，他们声明其 8gen3 芯片在运行 Meta 开发的 Llama 2 模型时（Llama 2 有 7B、13B 和 70B 版本，如果没有特别强调，那么一般指的是 7B 版本）可以达到 15 tokens/s 的性能。

高通骁龙 8Gen3 官方宣传资料

根据一些经验来判断，在 7B 大小的模型中，二者的速度都已经够快了，可以较为流畅自然的速度来实现文字对话或者实时的语音识别与翻译。

05 移动端处理 AI 性能的性能巨大消耗

虽然移动设备如手机和平板电脑确实可以在本地运行 AI 模型，但由于这些设备更多地用于个人用途，运行 AI 模型时会调用一些特定的资源。首当其冲的便是神经处理单元（NPU），这是今年几款旗舰 SoC 芯片（如 A17pro、8Gen3、9300、X Elite 等）都在强调的部分。NPU 是专门用于神经网络处理的处理器，拥有高效的矩阵乘法和卷积运算能力。在处理 AI 任务时，NPU 主要用于执行模型的推理。

AI 生成 -Midjourney

此外，手机的中央处理单元（CPU）和图形处理单元（GPU）也会实时参与其中，负责执行模型的解码、预处理和后处理等任务。同时，手机的随机存取 内存 （RAM）也会被大量使用。对于熟悉 AI 模型的用户来说，无论是在 PC 本地的 LLMS 还是 SDXL 上，对内存和显存的占用都是相当大的。在移动设备上，RAM 主要用于存储 AI 模型、数据和中间结果。在处理 AI 任务时，内存的带宽和容量是影响性能的重要因素。

图片源自于互联网

对用户实际使用影响最大的部分是大量的 RAM 消耗。在 MTK 9300 的官方发布中，联发科官方介绍说，一个拥有 1300 亿参数的 AI 大模型大约需要 13GB 的内存（在 INT8 精度下）才能运行。因此，即使是一个拥有 70 亿参数的模型，也大约需要 7GB 的内存。尽管存在一些技术，如 INT4 量化（通过降低计算精度以减少内存消耗），但是在完整调用运行一个 7B 的 AI 模型时，也需要至少 4GB 的内存消耗。这对于 RAM 资源本就非常宝贵的 Android 系统来说，无疑是雪上加霜。

图片源自于互联网

可以想象，如果未来本地的 AI 模型普及开来，当前主流的 8GB 手机 RAM 肯定是不够用的。一旦打开 AI 程序，用户可能会面临其他应用被强制关闭，以及由于反复调用部分应用而导致的系统卡顿等问题。

06 AI 落地移动端？让子弹飞一会

不少小伙伴看到这里，都以为我在唱空移动端侧 AI，但其实错了，其实我对于移动端 AI 应用是一个多头。毕竟手机是我们日常生活中最常用的智能设备，而且我们也看到，从 OpenAI 布局移动版的 ChatGPT，到国内大模型纷纷转战移动端 APP，再到手机厂商的 " 百模大战 "，还有智能汽车领域的算力大辩论，都表明移动端的 AI 应用潜力巨大。

图片源自于互联网

而发展方向上，我认为移动端侧当前十分强调的本地 LLMs（大语言模型）并不会是最终的发力方向，因为由于在精度的限制，本地 LLMs 的质量可能堪忧，即使可以输出较长的对话内容，但其逻辑性与合理性上都会与已知的 PC 端产品有较大的差距。

那么移动端该如何发展本的 AI 呢？我认为首当其冲的应该是图像识别与 TTS（语音合成系统）。移动设备（涵盖手机与智能汽车）作为视觉与听觉传播的重要媒介，其能带来的远不止文字流的输出。

关于图像识别功能，随着手机摄像头技术的不断进步，图像识别在移动端的应用越来越广泛。例如，人脸识别、物体识别、场景识别等。未来，随着手机端 AI 算力的提升，图像识别的准确性和实时性将得到显著改善。

GPT 长眼睛了，史诗级功能悄咪咪发布！

此外，随着智能汽车移动端 AI 计算能力的提升，图像识别技术在智能汽车中的应用将变得更加广泛和精准。例如，自动驾驶系统可以借助图像识别技术实时识别路况、标志牌、行人以及其他车辆，从而做出准确的驾驶决策。同时还可以衍生出图像识别可以用于识别车辆的周围环境，并提供相关的服务信息。例如，车辆可以通过图像识别来识别附近的餐厅、酒店等信息，并提供导航和预订等服务，催生新的业态。

另外一点就是语音合成（TTS）这也是本次 OpenAI 开发者大会中提及的重点内容，该技术结合 AI，可以将文本转换为自然语音，广泛应用于智能助手、语音导航、语音阅读等场景。随着手机端 AI 算力的提升，TTS 技术将更加成熟，生成的语音将更加自然、流畅。配合智能 AI 助理等功能来实现钢铁侠中 " 贾维斯 " 的科幻场景落实。

图片源自于互联网

同时，移动端侧越来越强大的 AI 算力，还可以让 V2V（车车互联）慢慢实现，通过 AI 和 V2V 技术，车辆可以共享路况信息，如拥堵情况、事故、路面状况等。这些信息可以帮助驾驶员或自动驾驶系统做出更好的导航决策，提高道路使用效率。甚至，可以自动与同目的地的车辆组成车队，AI 可以控制一组车辆以固定的速度和距离行驶，从而提高燃油效率和道路容量。

图片源自于互联网

在对未来人工智能市场的展望中，可以明确地预见到，在日常民用领域，移动端将无疑占据主导地位。目前，移动设备在运行大规模 AI 模型时，的确面临着内存和计算资源的限制。然而，随着科技的持续进步，我们有理由相信这些挑战将会被逐步克服。

作为消费者，在面对如潮水般涌来的 AI 营销攻势时，我们需要保持清醒的判断力，同时也应对新兴技术抱有好奇心和期待。毕竟，自信息技术革命以来，很少有哪一项技术能引发如此广泛的关注，并激发全球科技巨头展开如此激烈的竞争。人类历史已经多次证明，只有竞争的时代才是科技进步最快的时代，才是人类文明的闪耀时刻。