光线追踪、拍照重大创新、手机运行大模型、5G双卡双通……高通终于发大招了。

——文｜杜晨   编辑｜VickyXiao   图片来源 | 硅星人

最近两年时间里，消费电子市场发生了一个非常关键的变化：苹果和谷歌在开发设备产品时，已经不再使用行业普遍采用的合作伙伴芯片了，而是转而采用自研芯片：

• 苹果首先弃用了英特尔、改用自研ARM架构的 M 系列芯片；
• 紧接着，谷歌推出的上一代 Pixel 6 系列手机也不再搭载高通 SoC，而是采用了自研的 Tensor 处理器。

图片来源：苹果、谷歌
阶段性成果是显著的：谷歌依靠 Tensor 芯片，继续在计算式摄影和移动端 AI 体验这两大领域领先行业。

尽管从出货量来看谷歌并不是大客户，但 Pixel 手机的 AI 体验领先优势，和被谷歌“抛弃”这件事，让高通面子上确实有点过不去……
而在今天，高通在骁龙技术峰会上使出了大招。
高通正式发布了骁龙 8 Gen 2：一枚在手游光线追踪、计算式摄影、手机AI加速计算、5G双卡双通等多方面实现了巨大创新的最新款旗舰级移动芯片。
通过 8 Gen 2 这款产品，高通誓要夺回移动 AI 最强芯片的王座。
图片来源：高通

 

 Hexagon：最强 AI 计算引擎

早在疫情之前，高通就已经加大骁龙芯片在 AI 计算方面的投入了，但遗憾一度被谷歌 Tensor 后来者居上。
而在今天新发布的骁龙 8 Gen 2 芯片当中，搭载了一颗专门面向 AI 计算的 Hexagon 处理器。通过 Hexagon，高通显著加强了在 AI 加速计算方面的努力，希望重新确立骁龙芯片在移动 AI 计算上的标杆地位。
Hexagon 之前是用来命名骁龙芯片内部 DSP（也即数字信号处理器）的，它在此之前的身份可能更像是“协处理器”。

图片来源：高通
而这次在 8G2 上，已经正式升级为一颗完整且相当强大的 AI 加速计算处理器，具有专门为其供电的系统，内置 Tensor、Scalar 加速器、HVX 矢量扩展处理器，支持Micro Tile Inferencing 等技术。
更厉害之处在于，这次的 Hexagon 处理器具备 INT4 精度 AI 计算的能力。
这让 8G2 芯片成为了世界上第一颗，也是目前已知唯一一颗支持 INT4 精度 AI 计算的移动平台处理器。 
INT4 是一种更新、近年来多受关注的的 AI 计算精度模式。和之前经常被提起的浮点计算（Floating Point, FP）精度模式相比起来，INT4 能够让模型占用空间显著缩小，从而可以在计算/能耗资源更为有限的移动平台上，保存和运行更多和更大的预训练神经网络模型。

高通CEO Cristiano Amon 
高通宣称，支持了 INT4 之后，开发者可以放心让 8G2 芯片来跑超大规模的神经网络了——比如 Transformer。
在此之前没有已知的移动平台芯片具有本地运行 Transformer 类预训练模型的能力，而 8G2 成为了第一颗支持 Transformer 大模型的移动处理器。
另外，通过支持 INT4 精度计算，Hexagon 处理器还可以更加有效地替代 GPU 和 CPU，在运行各种 AI 计算任务时显著降低能耗。在持续 AI 推理计算任务上面，8G2 芯片相比 8 Gen 1 的性能提升最高可达 4.35倍，每瓦性能提升程度高达60%。

Hexagon 功能视图    图片来源：高通
在 Hexagon 之后，真正的 AI 协处理器功能则由 8G2 上的另一个模块 Sensing Hub 来完成。
别小看它：麻雀虽小，五脏俱全，它实际上内置了两颗 AI 协处理单元和一颗 DSP，并且内存相较 8G1 增加了50%。
Sensing Hub 的主要功能，是以更低的功耗来完成一些常规的传感识别和简单算法任务，比如传感器（面部、眼部识别、眼球追踪、生物验证、运动检测、手势识别）和语音控制（虚拟助手等）。
Sensing Hub 图解   图片来源：高通
在实际使用中，Hexagon+Sensing Hub 能够在更低的功耗基础上，驱动更多更复杂的基于 AI 的功能，比如语音识别、离线翻译、自动字幕、游戏 AI 等。
在本次骁龙技术峰会上，高通也宣布将会持续更新改进 Qualcomm AI Stack（AI 开发工具包），为移动开发者提供更多更好的工具，帮助他们开发出即便在手机平台上也具有超高性能和优秀体验的下一代 AI 移动应用。
AI 计算参数表（节选）：

• 异构融合 AI 加速器架构

• Tensor 加速器

• 矢量扩展

• Scalar 加速器

• Micro Tile Inferencing 支持
  

• Hexagon 直连技术

• 支持 INT8+INT16 混合精度

• 支持 INT4、8、16、FP16 单精度
  

 

 计算式摄影：要跟谷歌掰手腕

在谷歌引领了计算式摄影（computational photography，也即重度依靠算法优化的摄影技术） 太多年之后，高通这次终于追了上来，要和谷歌一较高下了。
在图像信号处理部分，8G2 芯片搭载的是最新一代的高通 Spectra 图像处理单元。
高通给它起了一个很玄学的名字，叫做“认知 ISP”(Cognitive ISP)。
这是因为在 8G2 上，ISP 可以和前面提到的 AI 处理器通过 Hexagon Direct Link 技术实现直连（下图），从而在拍照和视频录制功能上，实现完全实时的 AI 优化效果。
ISP 和 AI 处理器直接连接   图片来源：高通
以拍照为例：8G2 可以在拍照取景的时候，实时进行物体识别和语义分割 (semantic segmentation) 过滤，如下图。
简单来说，实时语义分割的意思就是手机在拍照取景时就已经知道画面中的场景长什么样，有哪些物体（人、动物、物品、背景等），对其进行准确的分割，并且根据训练好的算法进行分别优化。
高通的原文是这样说的：有了这项技术，你的手机相机可以理解画面中的‘语境’，能够准确分辨人脸、面部细节、头发、衣服、天空等物体——并且每一项物体都能够得到适合它自己的优化。
实施语义分割示意图   图片来源：高通
这一技术可以实现多种照片美化效果，包括并不限于更精准的背景虚化，更高的画面包容度（高对比度空间），或者在不影响背景颜色/锐度的前提下，实现人脸肤色优化或柔化等等。
高通方面透露，实时语义分割过滤支持照片、录像模式，并且支持在屏幕取景时实时预览。
8G2 处理器的 ISP 还将支持最多三摄像头最高各3600万像素同时拍照。这一能力的意义，在于后期通过多帧融合技术，显著增强单张照片的细节清晰度，并且让更高倍率的数码变焦/超分辨率（super-resolution）效果成为可能。


另外高通透露，其它手机拍照技术大厂的最新技术，也已经面向 8G2 处理器优化：包括索尼的四重交织 (quad overlap) HDR 成像技术，以及三星开发的行业首枚2亿像素传感器 ISOCELL HP3 等。
在过去相当长一段时间以来，谷歌 Pixel 系列手机一直被视为计算式摄影的最强产品。甚至其照片特有的高对比度空间、颜色风格的组合，在行业里被称为“Pixel look”。
而与此同时，其它 OEM 由于采用的硬件、调校风格不同，拍照风格千奇百怪，效果时好时坏，稳定性欠佳，结果就是没有一个能够和谷歌的 Pixel look 相提并论。

而通过这一次推出认知 ISP 技术，高通的野心是与谷歌一较高下，成为新的计算式摄影领导者。当然因为高通自己不做手机，最后还要看 OEM 的实际应用。但至少高通已经竭尽自己所能，为各大手机品牌打下了最好的基础。
三星 ISOCELL HP3   图片来源：三星
8 Gen 2 拍照/图像参数表（节选）：

• 最高支持两亿像素

• 单摄最高1.08亿像素，三摄最高3600万像素@30fps 无快门延迟

• HDR模式：10、10+、HLG、杜比视界

• 录像：最高支持 8KHDR@30fps、4K@120fps、慢镜头720p@960fps

• 录像：计算式HDR拍摄，最高支持4档不同曝光度

• 10-bit HEIC 照片、HEVC 视频录制

• 视频播放：支持 AV1 编码格式，最高可播放8KHDR@60fps

 

 手游体验大跨越：光追终于能普及了？

曾几何时，移动处理器的技术革新、性能提升速度一度超过了桌面处理器。然而在手机上实现光追，仍然在过去相当长一段时间里是一个遥远的梦想。
各大设备和技术厂商并没有停止努力。在过去两年里，我们看到包括三星、OPPO、Imagination 等公司纷纷发布了各自的手游光追技术，但仍然各有问题和难以逾越的门槛。
而这一次，老大哥高通终于亲自出马了：在 8G2 上，最新版 Adreno GPU 终于首次实现了光线追踪能力。

包括不同表面上的真实反射效果、高清晰度柔和阴影，以及环境光遮蔽等标志性的光追效果，8G2 都已经成功实现。这一次也是大规模商用化的移动平台芯片，首次实现硬件加速实时渲染的光追效果。
柔和阴影、镜面反射等   图片来源：高通
光追的实现，意味着以后的手游不仅视觉效果会更加绚丽和真实，安装包的占用空间也会越大，玩起来可能也会发热更加严重……
不过至少目前来看，高通方面表示 8G2 上的新一代 Adreno GPU 在能效方面比 8G1 有了高达45%的提升。
性能方面，总体提升约为25%，对于 Vulkan 接口的性能表现提升了30%。
另外，高通也表示这次 8G2 处理器将支持虚幻引擎5数字人（UE5 Meta humans）创建：这里的意思是，以后的手游开发者可以在游戏的创建角色（捏人）部分采用 UE5数字人技术了，可以让玩家捏出更真实、更像自己的角色。

UE5 Metahumans 技术    图片来源：Epic Games8G2 Adreno GPU 参数细节（节选）：

• 实时硬件加速光线追踪

• 游戏画面后处理技术

• HDR游戏（10bit）

• 阴影去噪

• OpenGL ES3.2、OpenCL 2.0 FP、Vulkan 1.3 支持

• 硬件加速 H265、VP9 解码

 

 5G双卡双通

高通这一次在 8G2 上也总算实现了行业期待已久的 5G 双卡双通（DSDA, Dual-SIM Dual-Active)，追上了去年联发科天玑9000的步伐。
先上个历史课：
世界上第一台双卡手机在2004年就诞生了。后来双卡技术不断进步，实现了双卡双待（两张 SIM 卡，同时待机），也实现了双 3G、4G、不分主副卡、双卡多模等技术突破。
然而，双卡双通，也即两张 SIM 卡、同时待机，且能够同时连通——这一最关键的能力，等了很久都没有实现，直到去年底联发科的天玑9000处理器。
双卡双通难实现，在过去的最主要原因是需要两套射频系统，非常占地方、更加耗电，且对其它信号（Wi-Fi、蓝牙等）造成干扰。而到了5G时代则因为通信频段融合和信号的复杂程度，”难上加难“。
而这一次，高通通过最新自研的射频信号软件虚拟化技术，在行业首次实现了4倍聚合下行链路速度，同时也实现了两张 5G SIM 卡同时连通。

在实际应用场景中，5G双卡双通的价值还是十分巨大的：
比如游戏+语音场景：假设你正在和队友一起激战王者峡谷，同时在用另一个语音软件（比如YY、开黑啦、Discord 之类的）突然来了个电话，结果就是游戏或者语音聊天必有一个掉线，有可能俩一起掉。
而现在有了双卡双通，可以在卡1上玩游戏，卡2仍然可以随意接打电话，完全不会对游戏数据造成任何影响。
同理在办公场合，如果两个卡同时来了电话，则可以同时应答。
实现双卡双通的背后，8G2 搭载了高通最新研制的 X70 5G 调频-射频系统。并且专为优化 5G 上下行信号链路、管理频段、降低延迟，以及实现双卡双通，基带内置了一枚独立的 AI 协处理器（题外话：这次 8G2 恨不得每个单元里都放一个 AI 协处理器……）
图片来源：高通
而在 Wi-Fi 方面，8G2 成为了第一枚支持 Wi-Fi 7 的商用化移动处理器，最高速度可达到5.8Gbps (725MB/s)，延迟最低可小于2毫秒。
其它连通性参数表（节选）

• 802.11 be、ax、ac、a/b/g/n

• Wi-Fi 频段：5GHz、6GHz

• 双蓝牙天线

• 蓝牙5.3

• 骁龙音频 (Snapdragon Sound) 技术

• 支持 aptX、aptX 无损、低功耗音频

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。