苹果、高通、google 都押注的未来芯片，到底是什么？| 硬哲学 | 爱范儿-尊龙凯时官方网站

在体验 pixel 6 pro 的这段时间里，除了拍照，我很少有感觉到这台被 google 称作「最聪明的 pixel 手机」有什么过机之处，直到一个早上，手机闹钟把我吵醒。

和普通手机滑动关闭闹钟的操作不同，pixel 6 pro 提示我可以说「snooze（再歇一会）」或者「stop（停止）」来控制闹钟，而当我小心翼翼地说出「stop」后，闹个不停的手机果然立刻安静了下来。

这是个微不足道的小功能，却让我每个被闹钟吵醒的早晨都能保持一个好心情。

我终于再也不用强撑睡意胡乱找手机，只需要一句话就能让催命般的手机识趣闭嘴，这是我第一次感觉手机能够「理解」我。

「听懂人话」的秘密，就藏在不起眼的 tpu 之中。

无处不在的 ai 计算

同在手机的 soc 上，npu 的存在感和 cpu、gpu 比起来总要弱上一大截。

这个专注于神经网络运算的处理器甚至没有一个统一的名字：在麒麟芯片上叫 npu，在 a 系列仿生芯片上叫 神经计算引擎（neural engine）；google 将其命名为 tpu，联发科又认为用于 ai 计算的它应该叫 apu……

尽管这些芯片的名字五花八门，架构和原理也不尽相同，但它们的目的大抵相似——加速机器学习，提高手机的人工智能计算能力。

如果你有关注手机处理器的性能，你会发现无论是 iphone 的 a 系列芯片还是 android 旗舰级的骁龙芯片，在近两年内 cpu 的算力提升都十分有限，性能「挤牙膏」的现象越来越严重。

与之相比，ai 算力成了更多厂商愿意提及的参数指标。以 a 系列芯片为例，苹果的 a14 仿生芯片比上一代有了近乎翻倍的峰值算力提升，每秒可执行运算 11 万亿次。

一年后的 a15 仿生芯片在此基础上依然能带来超过 40% 的大幅提升，每秒可执行运算高达 15.8 万亿次。

android 阵营的 ai 算力进步也非常可观，在苏黎世理工大学推出的 ai 性能测试榜上，首次引入 npu 的麒麟 970 ai 性能跑分为 23600 分，四年后 google tensor 芯片以 214700 的高分登顶，而麒麟 9000、骁龙 888 的成绩也都达到了 160000 分左右。

既然 ai 算力近乎指数增长，为什么我们很难感觉到有什么变化？ai 功能这个听起来略显高深的词是不是离我们太远了？

事实上，你每一次解锁手机、唤醒语音助手、甚至随手按下快门，都是一次与 ai 计算的亲密接触。

而 npu 就像一个黑匣子，它让 ai 的计算过程快得几乎不存在，让你察觉不到科技，却又被更自然的人机交互包围。google 语音助理的进化是一个很好的例子。

自 2014 年 siri 加入「hey, siri」的语音唤醒功能后，唤醒词几乎和语音助手绑定，每次与语音助手对话，我们都要不厌其烦地叫唤它们的名字：siri、小爱同学、小布、小艺……如果语音环境很嘈杂，这个尴尬的过程可能还要重复好多次。

这是因为，出于功耗考虑，手机处理器不能浪费算力长时间在后台解析用户的每一句话，这时就需要一个低功耗并且只识别唤醒词的语音接收器常驻工作。

当收到唤醒词信号时，才调动主处理器聆听用户的下一步指令。

不过，虽然这样可以实现低功耗语音唤醒，但这距离科幻电影里 ai 助手随叫随到的理想形态还有点距离，这就像钢铁侠在战斗前还要说一句「嘿，贾维斯」一样，人机交互有点别扭。

google 在 pixel 6 系列上推出的「快捷指令」功能让这种存在于科幻电影的自然交互照进了现实。

正如文章开头提到那样，通过「快捷指令」用户不用再喊「ok google」等的唤醒词，也能唤醒 google 助理执行关闭闹钟、接听电话等指定任务。

要在嘈杂的声音环境下定向分离人声，手机就需要有更高精度的声纹识别能力，利用更加复杂的卷积神经网络算法准确捕捉并识别用户的口令。

而 google 专为 ai 计算设计的 tpu 芯片正好满足了这种 ai 算力需求，这种自然的语音交互最终在 pixel 6 系列上得以实现。

基于神经处理单元的 npu 在图像、语音识别和处理方面比传统 cpu 效率要高得多，手机厂商由此可以开发出诸多如计算摄影、文字识别等功能，丰富系统的软件功能。

在苹果最新的 ios15 上，不少新特性就是基于神经计算引擎而设计的，例如 facetime 加入的空间音频和人像模式、实时的文本提取和翻译、相册直接搜索照片中的文字、siri 离线运行等。

由于这些功能对 ai 算力有一定的要求，苹果还强调如果 soc 芯片不是 a12 仿生往后的型号，那么即便升级到 ios15 这些功能都不能体验。

再比如 miui13 上的智能识别证件照添加水印、人脸验证隐私保护等功能，harmonyos 的隔空手势、随头转动，同样是利用了 ai 图像识别、文字 ocr 等技术开发。

ai 功能开始成为了我们日常手机体验重要的一部分，原本被认为无关紧要的 npu 成了组成系统软件体验不可或缺的一部分。

为什么需要 ai 计算芯片？

和手机的其他零件相比，npu 登场的时间要晚得多。

2017 年 9 月华为在柏林 ifa 展发布的麒麟 970 是首颗集成 npu 的 soc，同一时期，苹果发布了首次搭载神经计算引擎的 a11 仿生芯片，两个阵营对 ai 计算领域的关注出奇同步。

ai 功能的出现看似突兀，但这其实是智能手机形态发展过程中自然演化的结果。

《连线》杂志与苹果副总裁 tim millet 关于 a 系列芯片的访谈中提到，在 iphone x 发布的数年前，苹果的一些工程师就提出了利用机器学习算法让 iphone 的摄像头变得更智能的想法。

正是这个想法，让定义了 iphone 未来十年形态的 iphone x 有了落地的可能。转向全面屏的 iphone x 需要一个新的安全机制取代原本占据下巴的 touch id，并且在准确度、解锁速度都不能落后前者，为了实现这些点，苹果转向了 3d 结构光面容识别。

每次点亮 iphone 进行解锁，位于刘海中的深感摄像头都会通过成千上万个点创建一个深度图，与储存的人脸数据比对完成解锁，而这个收集、创建、校对的过程需要控制在瞬息之间，更重要的是，功耗必须控制在一个足够低的水平。

根据苹果公布的数据，iphone 用户每日平均解锁次数为 80 次，如果每次解锁都要调动 cpu 或 gpu 做高功耗的图形运算，对手机续航而言会是个相当大的挑战。

而多核架构的神经计算引擎可以同时执行大量运算，并且经过深度机器学习，它可以像人脑一样识别和判断人面信息，利用它实现人脸识别在功耗和性能上比传统 cpu 都有着不小的优势。

「如果没有神经计算引擎，我们不可能做到这一点」，tim millet 在访谈中提到。

随着核心数的增多，神经计算引擎算力也会随之大幅提升，其应用也越来越广。

例如 a13 仿生芯片的 8 核神经计算引擎为 iphone11 系列带来了 deep fusion 和夜景模式功能，通过多张融合提升照片的清晰度和细节；a14 仿生芯片的神经计算引擎提升到了 16 核，能够在拍摄时同时调用多枚摄像头，实现顺滑的变焦体验。

总的来说，神经计算引擎等 npu 的出现，可以很好地分担 cpu 或 gpu 的算力压力，通过对大数据进行高效的并行分析和计算，提取出有意义的结果，用更自然的处理能力改善我们的体验。

ai 将再次定义智能手机

于苹果担任担任机器学习和人工智能战略高级副总裁的 john giannandrea 在一次采访时曾经提到，他相信在未来几年内 ios 或者苹果软件生态的所有功能都会被机器学习改变。

我认为苹果一直代表着创造力和技术的交汇点。当你考虑建立智能体验时，将应用程序、框架、再到芯片给垂直整合起来非常重要…… 我认为这是一个旅程，这是我们拥有的计算设备的未来，它们变得智能，然后这份智能会隐于无形。

初代 iphone 用触摸屏交互、随时随地连接互联网重新定义了手机，手机自此出现了「功能机」和「智能机」的分支。

当智能手机的功能趋同化，所谓的「智能」——发微信、放音乐、拍照、看新闻等等在某种意义上又变回功能。

智能手机需要重新被定义，新的智能应该被解读为「能够理解人」的手机，它能识别你看见的世界，听懂你的每一句指令，根据环境作动态调整，这些都需要 ai 芯片的深度参与。

随着手机硬件供应链日趋透明，中高端手机核心配件的差异性变得越来越小，软件功能得到了越来越多厂商的重视，这就像料理一样，硬件供应链提供了制作一道好菜的「基础食材」，而想要烹饪出独此一家的味道，优秀的软件体验才是那个关键的「调味料」。

如今我们已经拥有足够清晰屏幕以及能拍摄百米远风景的摄像头，但智能手机的体验并不仅限于常规的显示、拍照。

它应该让你同时拍摄多焦段的照片，让你在拍摄时不用因为匆忙调焦而错过风景；应该能够在取景框中就能实时预览夜景或 hdr 效果，成像时不用再等待；它甚至应该成为一个能够陪伴你旅行的翻译器，即便是网络不佳也能离线完成实时翻译工作。

ai 是帮我们实现这些功能的不二之选，为了更深度地定制软件功能，像 google、oppo 等更多的手机厂商都开始参与 npu 芯片的设计，以追赶苹果、华为等先行者的步伐。

与此同时，强大的 ai 算力也不再是自研芯片玩家的专利，高通骁龙 8 和天玑 9000 都将 ai 算力视为了提升的重点，在 ai 性能跑分都已超越 google 的 tensor，三星最近发布的 exynos 2200 也着重提升了 npu 性能，带来翻倍的提升。

芯片巨头在 ai 性能的集中发力，让移动端 ai 芯片看起来就像在经历「新摩尔定律」。

除了性能增长的速度，ai 芯片的普及速度也非常可观，根据统计机构 counterpoint 的统计，2017 年内置 ai 芯片的手机数量仅占市场份额的 3%，而 2020 年这个数据已经达到 35%。

在未来还会有更多的手机支持 ai 加速计算，这意味着利用机器学习开发手机应用会变成新的常态，事实上在抖音、微信等国民级 app 上，就已经出现了利用机器学习实现背景模糊、一键剪片等 ai 功能。

随着手机厂商和第三方开发的参与，ai 应用经过不断深化，智能手机的形态可能也会随之发生变化，成为一个为愉悦体验而生的软硬件共生体。

届时，智能手机形态的话语权争夺战，也将从供应链的管理慢慢地向用户大数据的掌控转移。