中信建投 | 端侧：AI的下一个浪潮

点击小程序查看报告原文

端侧AI的价值：入口、主动响应、隐私、低延时与成本

当前算力主要部署在云侧，我们认为端侧不仅能成为云侧的入口，更能够提供隐私保护、即时响应、低成本、以及个性化主动式的差异化价值。首先，端侧AI可作为AI进入物理世界的神经末梢，端侧在本地主要负责感知、唤醒、第一层判断，把需要深度思考的任务脱敏处理后交给云端大模型；其次，端侧AI深度融合多维度实时数据，拓宽个性化服务的覆盖边界与体验深度，推动服务逻辑从“被动响应”升级为“主动预判”，云端AI无法获取、分析用户全面的本地数据，在实现“主动式AI”、深度理解用户需求方面，端侧AI具备独特的优势；此外，对于工业控制和自动驾驶等场景，云侧算力的延迟会直接影响交互流畅度、任务连续性乃至安全边界，而端侧通过本地化部署能够即时响应，同时对于金融风控、医疗辅助、企业办公等场景，端侧处理能够显著减少敏感数据离开设备或组织边界的次数，具备较强的隐私保护价值。最后，相比云端，端侧AI在数据处理需求高或推理请求量大等的高频任务场景具有成本优势，特别长上下文、多轮对话、多工具调用和多智能体协同时，单纯任务的Token消耗可能成倍放大，而端侧AI采用硬件成本模式，长期成本基本确定。

端侧AI的场景：AI赋能千行百业，AIoT多彩缤纷

端侧AI不仅仅能够应用在如手机、PC、眼镜等大的消费终端，端侧AI的价值更在于多个碎片化场景的渗透。一方面，端侧AI会赋能传统成熟产品的升级，例如智能家居、清洁类机器人、大屏等，这些成熟产品将从过去的自动化、数字化向智能化、AI化过渡升级，端侧AI在这些场景的落地也会更快，目前已能看到部分产品开始放量；另一方面，端侧AI也会带动全新终端的诞生，例如各类AI BOX、服务型机器人、AI NAS、工业质检等，而全新AI终端需要更长的开发周期，需要将模型、场景与算力深度融合，围绕用户核心痛点，打造系统级能力，同样会在未来逐步落地；最后，伴随Personal Agent的发展成熟、Muse Gadgets等开源硬件开发工具包的推出，端侧AI有望成为云侧AI的物理载体，较低成本的外设类硬件有望快速爆发，我们认为这些碎片化场景的逐步渗透是国内相关龙头公司业绩能够持续快速增长的核心原因之一。

端侧AI的落地：模型、场景与算力需深度融合，系统级能力是规模化落地的关键

与云端大模型主要围绕算力集群和模型服务展开不同，端侧AI对软硬件适配、功耗控制、响应时延、系统集成和场景理解提出了更高要求，需要模型、终端与芯片多方协同，其规模化落地并非单一环节能够独立完成。回顾云端AI的发展历程，模型能力的提升扮演关键角色，我们认为端侧同样如此，随着端侧模型能力密度的提升，以及轻量化的发展，端侧通用模型的能力持续突破，例如30B参数级别的小模型智能水平正快速逼近千亿级大模型，3-7B的小模型也能够在本地完成问答、文档处理、视觉语音识别等中难度任务，然而对于行业场景，端侧AI从“通用能力”到“行业价值”的最后一公里仍需模型厂与终端相互协同；

此外，算力也是端侧体验的重要一环，一颗好用的端侧算力芯片标称算力只是起点，在实际使用中，工具链、内存带宽与实时功耗等也是影响推理体验的关键，为应对端侧AI在终端差异化的部署要求，国内头部SoC公司均在加速产品迭代，同时不断完善工具链以及生态，我们认为在AIoT领域，国内头部SoC具备全球竞争力，而海外头部厂商更侧重云侧AI以及手机、PC等核心消费终端芯片，伴随产品迭代加速，这些国内头部SoC将充分受益端侧AI浪潮，保持快速成长态势。

一、价值：入口、主动响应、隐私、低延时与成本

当前的算力部署主要集中在云端，但云端集中式推理模型在大规模应用中遭遇结构性瓶颈，端侧AI的兴起是确定性趋势。随着大模型从“尝鲜式应用”走向“生产级部署”，推理调用量、上下文长度、智能体工具调用次数和多模态数据处理需求同步上升，纯云端方案正在同时面临成本、时延、隐私合规和服务稳定性四类约束，而这些约束不能简单地依靠继续增加云端算力供给加以根本化解。云端模型无法突破物理时延边界与敏感数据监管要求，弱网、断网场景下也无法继续应用，而调用量爆发使云端推理经济上持续承压，企业高度担忧云端AI成本，云端AI也无法为用户提供主动响应、个性化服务。因此，端侧智能的兴起成为解决云端约束的必然结果。

端侧AI通过本地化部署，可覆盖隐私保护、即时响应等多项需求。云端推理的体验瓶颈并不只来自模型生成速度，也来自“终端采集—网络传输—云端排队—模型推理—结果回传—终端执行”的完整链路。对于普通文本问答而言，数百毫秒到数秒的响应延迟仍可被用户容忍；但对于语音助手、实时翻译、图像理解、AR 交互、智能座舱、工业控制和自动驾驶等场景，延迟会直接影响交互流畅度、任务连续性乃至安全边界，例如自动驾驶场景通常要求10~50毫秒级响应，以保障安全导航；又例如工业机器人、自动化产线等场景百毫秒级延迟足以导致任务中断、执行偏差或安全风险。而端侧模型可以将响应从“等待云端返回”转变为“本地即时处理”，从而显著改善交互体验。同时，在弱网或无网环境下，端侧AI可提供稳定性服务，可靠性相比云端更强，适配场景更加多元。

在隐私方面，通过在本地完成语音识别、图像理解、行为识别、个性化推荐和初步推理，终端可以在“不上传原始数据”或“仅上传脱敏结果”的前提下提供智能服务。对于金融风控、医疗辅助、企业办公、智能座舱和个人助理等场景，端侧处理能够显著减少敏感数据离开设备或组织边界的次数，具备较强的隐私保护价值。

相比云端，端侧AI在高频使用场景下具有成本优势。云端AI主要按Token/API计费，初始成本低但是边际推理成本较高，长期成本随API调用频率线性上升，而在长上下文、多轮对话、多工具调用和多智能体协同时，单纯任务的Token消耗可能成倍放大。而端侧AI采用硬件成本模式，即一次性买断，后续推理在本地完成，边际成本几乎只有电费与折旧，无需付出API调用费用，长期成本基本确定。因此，在数据处理需求高或推理请求量大等的高频任务场景，如果不刚需云端大模型的超大规模能力，选用端侧AI方案在长期成本上具有优势。

端侧AI也可作为AI进入物理世界的神经末梢，提供低成本硬件AI Agent的实现路径。AI的趋势不再只是电脑和手机上的大模型，而是让家电、穿戴等小设备自带感知与交互。因此，AI下沉至端侧的低成本路径可以是在端侧部署轻量AI模型，端侧主要负责感知、唤醒、第一层判断，把需要深度思考的任务脱敏后交给云端大模型，实现“端—云”协同，既保持端侧AI的低时延、高隐私特点，也充分利用云端大模型的高算力

端侧AI可以通过深度学习、感知本地数据，提供个性化体验以及主动式服务。端侧AI通过分析本地数据，在设备端动态更新知识库与服务策略，实现基于本地数据的深度个性化适配。一方面，端侧AI依托本地部署、低延迟的优势深度挖掘实时交互数据，精准匹配场景核心需求；另一方面，端侧AI深度融合多维度实时数据，拓宽个性化服务的覆盖边界与体验深度，推动服务逻辑从“被动响应”升级为“主动预判”。云端AI无法获取、分析用户全面的本地数据，在实现“主动式AI”、深度理解用户需求方面，端侧AI具备独特的优势。

端侧大模型可通过精细化分层架构设计，实现端云融合互补。面对实际应用场景，端侧与云端模型并非二选一，更优解是将任务分层，达成“端-边-云”三级资源的动态优化配置与高效调度，一方面对任务智能分流实现全域计算协同，不同类型任务分别交给不同层级处理，云端负责处理复杂计算及大数据存储，边缘层完成本地实时分析和无线带宽连接，终端层涵盖个人设备与行业终端，完成对物理世界的感知、控制与本地推理，充分利用端侧的响应速度与边云的算力优势；另一方面实现多设备智能互动，弥补单一终端算力、感知局限，各设备功能优势互补。

二、场景：AI赋能千行百业，AIoT多彩缤纷

端侧AI不仅仅能够应用在如手机、PC、眼镜等大的消费终端，端侧AI的价值更在于多个碎片化场景的渗透。一方面，端侧AI会赋能传统成熟产品的升级，例如智能家居、清洁类机器人、大屏等，这些成熟产品将从过去的自动化、数字化向智能化、AI化过渡升级，端侧AI在这些场景的落地也会更快，目前已能看到部分产品开始放量；另一方面，端侧AI也会带动全新终端的诞生，例如各类AI BOX、服务型机器人、AI NAS、工业质检等，而全新AI终端需要更长的开发周期，需要将模型、场景与算力深度融合，围绕用户核心痛点，打造系统级能力，同样会在未来逐步落地；最后，伴随Personal Agent的发展成熟、Muse Gadgets等开源硬件开发工具包的推出，端侧AI有望成为云侧AI的物理载体，较低成本的外设类硬件有望快速爆发。本篇报告我们更加聚焦于端侧AI在AIoT中的应用，我们认为这些碎片化场景的逐步渗透是国内相关龙头公司业绩能够持续快速增长的核心原因之一。

2.1 Personal Agent的硬件载体

Personal Agent全球火爆，全面覆盖工作与生活。Meta与OpenAI相继布局Personal Agent，AI产品由单次对话或任务转向长期陪伴服务用户。Personal Agent Muse于2026年9月8日推出，用户仅需下达目标，Muse即可根据用户需求分析生成任务流程，可智能完成预定行程、在线购物、收发邮件等日常事务和项目，并且用户关闭应用后仍可在云端继续执行。根据 Apptopia 统计，Muse 上线 12 天累计下载约 280 万次，同期 ChatGPT 是 130 万、Claude 约 40 万，Muse 上线 12 天内在美加移动端下载量已超 ChatGPT 同期水平，并登顶App Store榜首。同月29日，OpenAI推出Dots，同样主打全天候为用户推进工作、分担重要任务，由GPT-6 Astra驱动，能从反馈中学习，实现逐渐了解用户偏好与优先级，在执行任务之外参与“发现任务”环节。同时OpenAI打造专家型Dot，可在组织和公司内承担专门职责。国内多家厂商跟进Personal Agent，例如阿里千问助手升级为千问GO，具备购物、出行、物流、编程等数十个领域的个人办事能力。

端侧能够赋能Personal Agent体验升级，成为其重要的硬件载体。从留存率方面来看，在美国市场，Muse 7天后的留存率为30%，这一指标与ChatGPT上线初期相当，然而14天后的留存率为23%，这一指标低于ChatGPT同期数据，这说明纯云侧的个人助理在用户体验上依旧有欠缺，例如用户仍需较长时间与AI交互，并且部分关键网页也可能关闭接口权限，部分用户也会担心隐私问题，同时从商业化上来看，Agent所消耗的Token可能更高，然而与AI Coding场景不同，Personal Agent场景用户对于性价比的要求较为极致，若无法为用户提供足够好体验的服务，用户的付费意愿也较低，因此用户体验十分影响Personal Agent的商业化和后续发展。然而硬件载体的出现能够较好提升用户体验，与云侧AI相互补充，一方面终端硬件通常配有麦克风、摄像头等各类传感器，使得AI在终端设备上的实时响应和“主动感知”成为可能，AI从单纯被动式响应升级为“主动预判”，另一方面，在终端部署的端侧小模型主要负责感知、唤醒、第一层判断，之后再将更复杂的推理任务交给云侧，减少部分云侧的推理压力。此外，从争夺流量入口的角度来看，各大模型厂商也需积极布局消费硬件赛道。

OpenAI加速布局AI硬件产品，实现 “模型+终端”的硬件闭环。OpenAI在2025年5月宣布以约65亿美元收购由苹果前首席设计师Jony Ive创立的AI硬件公司IO，同时多位来自苹果的供应链、产品设计、制造、人工智能研究等人才加入，在产品设计理念上，设计团队希望创造一种“始终陪伴、几乎隐形”的 AI 伴侣，强调语音交互和情境感知，颠覆传统的屏幕依赖模式，在具体产品形态上，OpenAI正在考虑的产品可能包括类似没有屏幕的智能音箱，智能眼镜、数字录音设备以及可穿戴AI Pin等多个方向。

OpenAI消费级硬件即将面世，背靠ChatGPT推出全新物理载体。彭博社爆料，OpenAI与Jony Ive合作的首款硬件产品即将面世，产品外形像甜甜圈、体积与冰球相仿。这款AI终端目标成为“以AI为核心的便携计算机”，没有屏幕、有麦克风，主要通过语音交互，可能配置摄像头帮助产品进行环境感知，配合指示灯可完成交互提示，主体与充电底座分离便于携带。这一物理终端背靠OpenAI的ChatGPT Live，模型能力全球领先，支持语音、图像多模态交互，推动智能设备向理解、决策、执行进化。OpenAI首批产品计划于 2026 年底或 2027 年初发布，我们也期待OpenAI等头部大模型公司的入局能够打造新的AI终端。

Muse开源硬件开发工具Muse Gadgets项目，打通从虚拟助手走向真实环境的链路。Meta选择软件与硬件解耦，将硬件载体的定制权完全让渡给第三方设备与开源社区。Meta依托Personal AI Agent—Muse建立云端智能与连接服务，而Muse Gadgets则给它增加了硬件接口，开发者可利用现成的单板计算机、微控制器与显示屏幕组合出适用的物理形态，模块化开源生态赋予云侧AI的物理外设无限可能。

Muse开源硬件可搭配ESP32开发板、树莓派等多种现有硬件。Meta在Github上以Apache 2.0许可发布了ESP32固件和Linux设备SDK，开发者可把Muse连接到显示屏、按钮、传感器、执行器，以及工作台上任何可联网的设备。Linux设备SDK开发套件面向具备完整操作系统的单板计算机，如树莓派、Linux主机，能够通过系统服务常驻后台托管。ESP32设备固件则专门面向搭载乐鑫ESP32的开发板，支持开发者直接调用显示屏展示图像或文本，仅凭几十元的基础芯片赋予硬件语音交互与信息呈现能力。针对不想从零开始开发的用户，Muse也提供基于ESP32-C5的成品Muse Home Link，部分舍弃开发生态换取更便捷的使用体验。

ESP32作为Muse的端侧入口，极大节约了端侧硬件的成本。在Muse开源的SDK中，ESP32主要用于输入与反馈，即在用户触摸采集按钮的时候，感知环境传感器数据、触摸动作以及微型摄像头的拍摄指令，通过Wi-Fi传回Muse云端智能体，而在Muse返回执行决策后，在现实中驱动状态指示灯、小型墨水屏/彩屏显示、蜂鸣器音效等，实现与真实世界的交互。通过将大模型和真实硬件接起来，云端负责理解和生成，端侧负责感知、控制、联网，这种软硬件生态可以取得端侧与云侧的平衡，以极低的成本取得更好的使用体验。

除了Meta，Anthropic在其桌面应用Claude中向开发者开放了一个面向硬件设备的Bluetooth API，开发者可借助这一接口构建与AI实时交互的物理设备。官方示例中，团队使用基于ESP32的开发板构建了一个“桌面宠物”，在Claude需要用户授权时主动提醒，并支持在硬件端的交互。ESP32具备极强的开发者属性，单块仅20元出头，凭借其易用性、低价格、低功耗的特性适合在消费者市场普及，相关类型产品有望快速爆发。

2.2 机器人：多形态机器人量产落地，数采市场有望快速兴起

端侧AI赋能消费级机器人，应用场景全域扩张。消费级机器人是AI大模型的最佳落地场景之一，具备“硬件+内容+服务”的生态潜力，相比过去主要以概念展示为主的“类人机器人”，面向真实家庭、商用场景需求的消费级机器人开始密集出现，这类机器人能够以其感知、决策、执行能力感知真实世界，能够为用户提供显著价值，是AI走向物理世界的重要入口。消费级机器人形态多样，可以分为功能性机器人、服务类机器人以及陪伴类机器人，其中功能性机器人是当前商业化相对成熟的应用场景，能够完成单一任务，替代重复劳动，任务场景覆盖清洁、割草等。

功能性机器人增速稳健，割草、擦窗机器人等细分品类增速亮眼。根据IDC的数据，2025年全球智能家居清洁机器人市场出货3210万台，同比增长28.2%，预计到2028年五年复合增长率达26%，从细分品类情况来看

扫地机器人2026年上半年出货超1400万台，同比增速超20%，扫地机器人的快速增长主要得益于欧洲区域，Q1/Q2欧洲扫地机器人市场分别同比增长81%/64%。

割草机器人26H1出货将近200万台，Q1/Q2同比增速分别为97%/59.7%，割草机器人高景气度的背后主要得益于AI带动的智能化升级，传统割草机器人普遍依赖预埋边界线作业，人工布线费用高昂、施工繁琐，场景适配灵活性偏弱，面对不规则草坪、零散绿化区域、复杂围挡地形时容易出现越界行驶、漏割、重复割草等问题，智能割草机可通过主控多路高清摄像头同步采集画面，开发视觉自主建图、草坪边界识别、全域路径规划等功能，精准区分复杂场景，大幅降低整机硬件与售后施工成本，满足海外庭院适配性及成本需求。

擦窗机器人同样保持高景气度，无线化、智能喷水、边角清洁等技术升级显著改善产品体验，叠加欧美等市场的大面积玻璃、高层住宅及人工清洁成本进一步强化需求，同时中国品牌凭借成熟供应链和快速产品迭代加速全球渠道铺设，使擦窗机器人从小众尝鲜品类逐步走向大众化，26年上半年擦窗机器人出货将近200万台，同比增速超60%。

服务类机器人往往配备更为复杂的传感器及AI功能，核心功能包括自主导航与定位、自动感知与识别、人机交互、任务调度、运动控制等，其聚焦于特定场景，实现多重功能。

在户外及工业等非标准化场景，受制于崎岖地形、斜坡、楼梯及恶劣天气等因素，传统的机器人在巡检、后勤保障、应急响应等关键任务的部署较为困难，PUDU D5系列采用RK3588协同NVIDIA Orin，支持导航、目标识别、避障规划等多线程任务，可部署端侧大模型实现AI决策，在复杂的动态环境中也能实现稳定的自主运行，PUDU D5系列可实现百万平方米级别场地的建图与自主导航，覆盖“出发-巡逻-障碍处理-自动回充”全流程自主作业，为机场、地铁、工业园区等大规模场景提供解决方案。

网球机器人同样是近年来正在兴起的新应用场景，与传统发球机相比，网球机器人能够实现实时感知球场环境，分析来球轨迹与速度，作出决策并自主运动完成击球回合，实现与人类的全场对抗或陪练，一台网球机器人能够集球童、教练、陪练等多个功能于一体，为用户创造多重价值。

母婴育儿同样是端侧AI部署的潜力场景，针对“养育压力大、信息繁杂、保姆成本高”三大痛点，母婴育儿机器人能够通过传感器实测监控婴幼儿状态，在端侧/云端分析决策， 驱动硬件执行如自动安抚、智能喂养、睡眠监护等功能，实现感知、判断、执行、反馈的闭环，可以替代部分人工照护职责的“AI虚拟月嫂”。

开源机器人“机器鸭”全球爆火。Pollen Robotics 推出的桌面级双足机器人 Microduck，售价仅 399 美元，开售 24 小时销售额便突破 260 万美元，高峰期平均每 4 秒卖出一台。Microduck作为被赋予了宠物感的具身智能终端，能完成行走、踢腿、抓握、摔倒自站立等 7 种出厂动作，还支持用户训练专属音色与个性化技能，把具身智能的体验门槛拉到了消费级。Microduck 能在全球开发者社区引爆，依托的是瑞芯微 RK3566 处理器，四核 A55 架构与 1 TOPS NPU 的 SoC正好实现端侧 AI“算力—功耗—响应”的平衡。同时，整机仅配 1GB 内存与 32GB 存储，RK3566 表现出极致的性价比。其配套的 RKNN 工具链原生兼容 TensorFlow、PyTorch 等主流框架，叠加全球上亿台终端设备所沉淀的海量开源方案与社区问答，让开发者实现开箱即用。

除各形态垂类机器人之外，具身智能庞大的训练数据要求带动数采市场正在快速兴起。当前机器人泛化能力推进慢、落地不及预期，其核心原因是真实数据的供给矛盾，预训练阶段数据规模的扩大，能够支撑具身智能认知和行动能力的显著提升，例如Generalist AI的新一代模型GEN-1的预训练数据较前代GEN-0模型多近一倍，平均任务成功率则提升了约1.5倍。

然而，具身智能数据积累更加困难，距离实现模型智能仍有较大距离。具身智能所需的视觉、动作等多模态交互数据不像大语言模型所需的文本资料被系统记录过，因此，行业正沿着仿真和真实两条路径缩小数据差距。中国信通院估计，假设实现机器人“ChatGPT”时刻的模型参数量级为55B，若训练数据全部由真机回流提供，约需21200台机器人连续工作一年，产出千万小时级有效数据，达到智能涌现则需要100亿小时的数据，而当前全球可用的高质量真实数据仅数十万至百万小时级，远未达到支撑具身基础模型智能涌现的门槛。

在真实数据采集方式上，无本体采集有望从“补充方案”走向“预训练主力”。无本体采集包括Ego人类第一视角视频采集、UMI末端操作采集、动作捕捉采集，其中，UMI末端操作采集为操作员手持或穿戴UMI，采集与机器人末端同构的观测和动作数据，Ego人类第一视角采集为利用头戴式相机采集人类第一视角的行为数据。相较于真机数据，无本体采集数据的优势在于：1）成本显著下降，无本体采集数据的单小时采集成本为小几百元，显著低于真机数据的大几百到上千元；2）无本体采集摆脱对本体与场地的依赖，通过头戴/腕戴/夹爪等可穿戴设备，将采集活动嵌入真实工作与生活过程；全国百余城点位、万人网络与“居家/商超/工厂”分布式采集网络加速覆盖长尾任务与复杂环境。

当前，多个头部玩家正在积极入局数采市场，有望带动数据采集设备出货量大幅增长。头部玩家进入“设备规模化—数据产能化—治理平台化”阶段。

2.3 AI NAS：构筑智能家庭与企业中枢

智能体驱动NAS变革，AI NAS实现家用到企业级全面爆发。随着端侧大模型轻量化技术持续突破，隐私存储需求集中爆发，NAS作为家庭和企业数据的汇聚点，自然地成为了端侧推理需求的落脚点。AI NAS作为将本地大容量存储能力与端侧AI算力深度融合的新一代智能存储设备，本质是将传统NAS的存储能力与AI的计算、分析与推理深度融合，完成从“数据在哪存/怎么取”到“数据怎么用/如何创造价值”的位阶跃迁。IDC数据显示，2024年中国家用NAS设备出货量突破58.5万台，预计至2029年有望突破192万台，五年CAGR将超过26%。QYResearch数据显示，2024年全球NAS市场规模107.30亿元，预计2031年将达453.63亿元，CAGR为24.0%。

在家庭场景，AI NAS的价值在于本地隐私AI能力与家庭智能中枢。一方面，存储作为NAS的基础功能，AI的应用可以使存储的数据更加易得。传统的NAS具有较高的上手门槛，一般作为小众的极客工具存在，AI NAS提供AI自动化配置，有效降低上手门槛。AI NAS具备智能相册功能，可做到人脸与场景识别、照片修复、视频逐帧色彩调教等功能，同时支持自然语言跨模态、跨生态访问，让本地隐私数据不上传云端的情况下，实现便捷、快速的数据整理归类与搜索使用。

另一方面，AI NAS可作为智能家庭管家，为摄像头、清洁机器人、智能灯具、音箱等提供统一的管理平台，有效解决智能设备数据分散管理导致的使用体验不佳。同时，通过统一存储数据，AI NAS可通过NPU在本地运行VLM等模型，智能识别家庭中的异常行为，如宠物与小孩的异常行为，并与智能家居进行联动，而数据本地处理更显著提升对家庭敏感影像与隐私数据的保护能力。

在企业场景，AI NAS的主要价值在于效率与安全的双重诉求。效率方面，AI NAS以私有云形态构建跨部门统一知识库，支持 AI 语义搜索、文件问答、自动摘要与思维导图，让企业文档、手册与视频能以 RAG 形态在本地完成检索与生成，效率显著高于传统文件管理。同时AI NAS可承载本地 Agent 与自动化流程，支撑低时延响应与长记忆的本地编排。相比 PC、Mac mini 或公有云，NAS 免去数据迁移，更适合长期常开，也规避了云端 Token 消耗与隐私风险，综合成本与安全性更优。协同与治理层面，它支持多人协作、版本管理与快照回滚、精细化权限与多网段隔离，而本地隐私计算可避免敏感数据出网，满足合规审查与数据主权诉求。一次性硬件投入替代云端长期付费，则更契合中小企业对成本与可控性的双重诉求。

2.4 办公：AI Agent重构生产力，端侧落地实现主动式AI体验

AI Agent应用多点开花，端侧部署有望突破局限。2026年OpenClaw全球走红，腾讯、阿里、字节跳动等多家厂商争相入场，推出个人与企业级智能体平台，用户可以通过其强大的推理与行动能力，以更低的成本获取更高阶的数字化生产力。2026年3月中国日均Token调用量突破140万亿，较2024年初增长超千倍，应用覆盖金融、工业、医疗等多个行业。但是，云端AI的隐私性问题、权限风险、高推理成本已成为阻碍AI智能体发展的痛点，端侧AI具备本地部署、成本可控等优势，有望突破云端局限，成为未来的趋势。

主动式AI助手正重塑用户体验，有望成为未来办公场景新趋势。目前主要的AI Agent采用API模式，需要通过命令调用AI，而端侧AI的部署能够使得Agent具备全局感知功能，人工智能从“被动响应指令”进入“主动理解并参与工作的全新计算形态。

以Violoop为例，Violoop是一款专注于AI PC自动化硬件的桌面AI设备，搭载RK3576八核处理器及专用AI加速器，支持双屏连接，能在本地跑10B参数的模型，处理速度45 token/秒，大约是Mac mini的2.7倍。相比于传统纯AI软件，Violoop的价值在于：1）兼容性方面，像微信、剪映等软件没有开放API，只能通过外接硬件读屏的方式来获取其信息；2）速度方面，即使用云端最强的模型，信息上传再回来也要3.5秒以上，而Violoop把响应压到1秒以内，最长1.5秒，真正做到实时响应，实时的响应的意义在于用户在处理多个简单任务时，若等待响应任务时间过久，则会放弃使用AI，转而自己进行任务，而Violoop的实时响应能力能够进一步加强用户使用AI的粘性；3）个性化体验方面，Violoop可以主动应对一系列场景，例如在微信中提到上次的简历，Violoop直接弹出小窗询问是否需要发送简历，用户只需进行“发送”动作。又例如在浏览商品时，AI主动询问“要不要帮你比价”，用户接受后发回结果。Violoop CEO何佳霖将产品定位为电脑的第二个使用者，Violoop通过学习电脑屏幕的内容，记住和用户有关的事实，学会用户的工作方式，构建“记忆图谱”，最后把验证过的经验内化到模型权重中，成为高度定制化的模型，最终做到真正懂用户。

端侧AI在办公领域的应用还可体现在本地算力拓展、数据不出端的高隐私场景。针对传统PC等终端算力不足的情况，面向通用电脑，朗国RK1828 AIBOX通过USB与网口连接Windows PC，配合WorkBuddy等Agent，为通用电脑补足20TOPS算力，进而实现 PC 的本地 AI 能力升级，无需更换整机即可完成设备智能化改造。面对政企及对数据安全有较高要求的办公场景，瑞芯微与亿次网联联合推出离线本地AI办公智能体，基于RK3588或RK3576，搭载RK1828 AI加速芯片，双芯架构可支撑最高27B稠密模型流畅推理，模型、文件与对话数据全部留在本地，并可对接客户的协同文档、私有网盘与OA应用，面向设备管理场景还可按项目对接会议大屏、门禁、NAS、OA及常用物联网协议，目前已在部分省份部署。离线会议方案面向数据安全要求较高的会议场景，语音转写、翻译与纪要生成全流程在本地完成，录音与文本不出设备；支持多种语言的离线识别与双向翻译，会后自动输出结构化纪要。

2.5 智能显示：端侧AI助力构建新一代多媒体平台

端侧AI赋能显示设备，构建新一代4K多媒体平台。视觉作为人最常用的感知觉，屏幕可成为最直观适合用户的端侧AI入口。边缘AI正在重塑家庭终端，超越传统媒体播放的能力边界。晶晨、瑞芯微等协同显示器厂商，推出新一代多功能4K多媒体平台，依托VLM多模态模型、LLM模型等端侧AI模型，在实现视听体验大幅突破的前提下，在端侧实现了多种家庭所需功能。

视听体验：传统显示领域中，即使显示设备本身参数足够强大，片源本身的质量也会限制视听体验。海信RGB-Mini LED电视UX依托RK1828对多模态模型的原生算力支撑，可实现实时2D转3D画面渲染，无需原生3D片源即可生成立体观影效果。同时，通过VLM多模态画面识别，智能电视实现自动识别画面内容，可一键弹出相关资料，不用切换设备查资料，全面提升用户体验。

智能会议与智能翻译：依托端侧模型，智能显示屏现在已可实现智能会议分析，精确识别会议中的不同发言人与其所说的言论，在会议结束后生成会议纪要，智能总结会议关键内容。同时，智能屏幕还具备智能翻译能力，可处理多种语言的文本，实现实时语音转写，为用户观看其他语言的视频提供辅助，也可为跨国会议纪要提供更深入的辅助。

视频内容分析：智能屏幕搭载NPU，可通过多模态VLM画面识别，实现每隔几帧识别一次屏幕画面并生成对应的文字描述。用户可通过文字描述寻找自己感兴趣的内容，也可利用自动识别的信息，实时分析视频中的行为，或者智能识别屏幕中的广告，根据用户的地区或习惯替换广告内容，在公共场所或工业环境可提高信息处理效率，在家庭环境中则可显著改善用户使用体验。

多语言AI语音助手：新一代显示设备同时搭载了多语言AI语音助手，在本地环境中部署AI模型，支持自然语言交互，实现在断网环境下维持服务，并且保护用户隐私数据不泄露。智能显示AI语音助手具备多种功能：1）智能客服中心，旨在解决在观影中用户遇到的各种问题，例如在弱网环境下识别视频卡顿原因，同时也可智能识别用户需求，为用户提供各种信息；2）AI智能购物，用户在观看视频时，可随时暂停视频查找视频同款商品，智能显示屏可通过图片识别在网络上寻找同种商品，同时用户可通过自然语言交互特定选定其中某项商品；3）智能家居中枢，智能屏幕可作为智能家居的延伸，为用户提供控制不同智能家居的统一入口，搭载端侧AI赋予显示屏实时理解和分析用户行为的能力，能够更加理解用户需求，在用户提出要求时更快做出响应，使用户享受便捷全面的体验。

2.6 汽车电子：车载AI Box赋能座舱智能化升级

车载AI Box赋能座舱智能化升级，加速端侧AI全面落地。车载AI Box通过集成汽车级CPU、GPU/NPU、内存、电源管理、散热系统及高速车载通信接口，为车辆提供端侧AI推理、多模态交互、智能座舱Agent、本地知识服务和个性化用户体验等能力。车载AIBOX的单价约在1500-2000元，可以通过前装或者后装方式接入，后装市场主要针对低端、中低端车型，无需更换昂贵的座舱域控，即可快速提升车辆的AI能力，特别是在面向商用车、物流车、网约车、出租车的企业版AI边缘计算终端中，这类场景需要车队管理、行驶数据上传、驾驶员行为分析、AI识别和云端监管，车载AI BOX的商业价值可以更为充分体现。

在前装市场，其主要的功能在于：1）场景化自主任务拆解：传统车载语音仅支持单一机械指令，AI Agent可识别用户模糊场景需求，自动拆解多步骤整车控制任务。例如用户表述“我有点累，想要休息”，系统自动完成关窗、调温、播放音乐、座椅放平全套操作；依托车内车外多模态感知，主动识别用户潜在需求并完成交互。2）个性化长效记忆功能：AI模型具备用户偏好记忆能力，自动记录出行习惯、常用路线、用车需求，无需重复输入基础指令。例如指令“接孩子”，系统自动匹配接送时间、停靠点位、目的地，大幅提升交互粘性与使用体验，复刻手机端智能助手交互逻辑。3）情感化多模态交互引擎：模型搭载情绪识别引擎，具备拟人化交互性格，提供情绪价值；联动车内、车外摄像头实现增强哨兵模式，识别车辆异常触碰行为，自动生成预警信息同步车主，拓展安全防护功能。

2.7 工业：AI重塑机器视觉

在产业实践中，端侧AI在工业视觉领域展现出显著价值。工业现场要求低时延、连续运行、数据安全以及网络异常情况下的可用性，决定了视觉推理不能完全依赖云端。随着CPU、GPU、NPU和FPGA等异构计算平台持续演进，更多图像预处理、AI推理、结果输出和设备通信功能将在智能相机、视觉控制器和边缘服务器中完成。端侧视觉的价值不仅在于降低延迟，提升准确度，还在于减少原始图像上传、降低带宽与存储成本、保护客户数据并提高系统独立运行能力。

传统机器视觉技术在数据获取与模型训练中存在局限。传统机器视觉技术主要基于卷积神经网络（CNN）架构，依赖大量准确标注，而工业缺陷拥有低频、长尾、变化快和难以穷举等特点。这种技术路径存在样本依赖性强、泛化能力差、维护成本高、行业壁垒深的局限，直接导致了工业视觉市场的碎片化，阻碍了工业视觉技术的规模化应用。

视觉检测大模型推动工业AI向自监督、少样本、生成式数据和持续学习演进。视觉检测大模型采用Transformer架构，摒弃了传统的CNN结构，生成式AI则改变了工业视觉的数据准备方式，通过缺陷迁移、局部编辑、三维仿真渲染和物理约束生成，可补充极少见缺陷、危险工况和尚未量产产品的数据。这种架构具备少样本学习能力、跨领域泛化能力、快速适应能力，模型训练将由一次性离线开发转向持续迭代，有效应对传统技术难以解决的痛点。考虑到工业现场对低延迟、高确定性、可验证性、数据安全和成本控制具有更严格要求，在项目开发阶段大模型实现图像检索、预标注、缺陷语义描述等功能后，小模型在生产阶段负责稳定执行，例如检测、分割、分类、测量和定位。

工业视觉产品落地需要成套的软硬件方案。工业AI既需要模型能力支持，也需要摄像头、芯片等硬件的协同。以VE²S-GBOX为例，它面向真实行业场景打造端到端产品体系，其中MENTOR面向云端或中心侧、负责数据处理、模型训练、效果评测与算法持续迭代；EXPERT承接算法全生命周期运营，将通用模型能力转化为适配客户业务的专属算法；GBOX则进入靠近摄像头、产线和设备的业务现场，完成设备接入、数据采集、边缘推理、事件判断、结果回传与数据回流。三者共同形成一条“从现场运行—数据回流—算法迭代—再部署”的持续进化链路及端到端产品体系。

工业视觉端侧AI产品形态丰富，覆盖多种工业场景。配合端侧AI，芯片厂商与终端厂商已合作推出丰富的工业视觉产品，包括工业相机、三维激光扫描仪、智能扫码枪、高精度测绘设备、太阳能摄像头及热成像开发板等。面向多路并发、现场检测响应和柔性换型需求，工业视觉产品已构建起从前端成像、多路检测到多模态分析的分层视觉方案，广泛覆盖工业检测、物流扫描、能源巡检、户外监控等多元化的新型工业场景。

针对工业巡检及产线SOP等实际应用场景，芯片厂商与模型厂商协同推出系统级解决方案。针对工厂生产安全与合规问题，多家厂商推出产线AI-SOP方案，旨在优化电子制造产线上的操作合规问题，自动识别当前工序与标准流程对比并给出判定，作业现场隐患当场“喊停”，同时管理人员行为与机械臂行为，目前已应用于大型嵌入式模组方案产线。

三、落地：模型、场景与算力需深度融合，系统级能力是规模化落地关键

端侧AI的规模化落地，并非单一环节能够独立完成。与云端大模型主要围绕算力集群和模型服务展开不同，端侧AI对软硬件适配、功耗控制、响应时延、系统集成和场景理解提出了更高要求，需要模型、终端与芯片多方协同。

3.1 模型与场景：端侧模型能力持续进步，不同场景适配不同参数模型

作为端侧AI模型的能力基础，端侧模型密度提升和轻量化共同发展。回顾云端AI的发展历程，模型能力的提升扮演关键角色，我们认为端侧同样如此，端侧模型发展的核心在于模型密度的提升以及轻量化，在端侧若模型太大，硬件端内存、功耗与散热等限制会使得模型跑不动，若模型太小则会导致能力不够。根据“密度定律”，同样训练工艺下，大约每过3.5个月，同等能力的大模型参数量持续减半，可用模型的体量正在快速变小，模型能力密度的提升主要来自于：1）更高效的模型架构等方式，如采用MoE架构在调用模型时仅激活部分参数；2）小模型的高效训练与能力迁移，通过高质量的数据配比与训练策略将大模型能力迁移至小模型；3）面向端侧部署的数据治理与评测闭环，用真实场景评测驱动迭代。在模型轻量化方面，蒸馏、剪枝、低比特量化、混合精度、KV Cache优化和稀疏化等方式可将模型压缩到可部署的范围内。

我们认为端侧场景众多，不同场景适配不同参数模型。1B及以下模型在端侧主要用于异常检测与关键词唤醒、轻量分类，也可实现语音交互、家居控制等功能，其主要推理任务均在云端；3B/4B左右的模型能够实现离线文档、实时翻译、视觉理解和本地问答等功能，但是对于复杂推理、多步骤规划、需要广泛世界知识的任务，4B模型会明显吃力，比如让4B模型做一个完整的方案，它可能会遗漏关键细节或逻辑不自洽；7B左右的模型能够更好地进行任务理解与文本创造，适合更复杂对话、端侧指令与一定代码/文档处理，然而在需要高度准确性的场景（医疗诊断、法律建议），7B模型还不能作为独立决策工具，只能作为辅助参考，同时，长上下文处理能力有限；13B左右的模型因为参数规模更大，能精准理解复杂指令，理解和处理长上下文，在需要更强推理能力的专业场景中表现突出，例如可用于合同初筛、风险点识别、法律文书分析、论文核心要点总结以及跨文献对比等。未来随着端侧模型能力密度的进一步提升，小参数模型的能力也有望进一步增强。

30B参数级别的小模型智能水平正快速逼近千亿级大模型，其具备较强的多步推理和指令跟随能力，任务的进行更多在端侧，可满足高隐私、高及时响应等场景下的要求。以2026年8月发布的Qwen3.8-27B为例，其Intelligence Index与300B以上头部模型的差距已缩窄至个位数，在编程、办公及Agent任务中甚至超越更大参数模型。Meta以Apache 2.0发布开源模型Muse Glimmer，具备端到端的任务完成、多步推理、故障恢复、多模态输入与推理等功能，可全面胜任本地代理。Muse Glimmer搭载基于DFlash的轻量级模型，将语言模型缩小至20GB以下，适配单张消费级GPU，实现在24GB或32GB的显存下同时运行KV Cache、图像编码器与解码器，真正赋予端侧模型本地代理能力。30B模型能够处理复杂推理、编程、本地知识库问答、长周期办公（如多步骤任务规划、文档总结）及代码生成，适合部署在本地AI一体机上，作为个人或办公的“本地Agent”， 用于对数据隐私要求高、需结合内部知识库的行业，从而实现低时延、隐私保护且离线可用。

对于部分行业场景，端侧AI从“通用能力”到“行业价值”的最后一公里仍需模型厂与终端相互协同。云侧AI的任务类别通常在于问答、Agent等，而端侧AI差异化价值在于能够连接真实的物理世界，基于真实场景，形成“感知—推理—控制/执行”的本地闭环。其规模化落地的难点并不在于通用端侧模型不够聪明，而在于跨过从“通用能力”到“行业价值”的最后一公里需要行业知识、真实场景、产品判断、工程交付和商业化能力共同作用。在这一链条中，终端厂商掌握用户入口、系统权限和场景数据，但其AI能力较弱，而模型厂商具备大模型能力、压缩部署经验和多模态推理能力，但是缺少对场景需求的理解以及数据，进而导致基于不同场景的专用模型缺失。因此，端侧AI在行业方面真正发挥价值，需场景拆解、模型适配、智能体设计、系统集成、私有化部署、算力适配产品工程化和客户交付等多环节协同发力。

3.2 算力：国内头部SoC厂商充分受益于端侧AI浪潮

3.2.1 峰值算力、内存带宽、软件工具以及生态效率共同作用于AIoT算力芯片

算力芯片是端侧体验的重要一环，然而一颗好用的端侧算力芯片标称算力只是起点，TOPS指标代表“理论峰值算力”。然而在实际使用中，工具链、内存带宽与实时功耗等才是将标称的TOPS转化为实际可用的推理效率关键。

NPU性能不只受算力约束，端侧AI场景下内存带宽才是性能的决定因素。根据Roofline模型，一个给定的计算任务在特定硬件上的可达性能上限受算力天花板与内存带宽双重限制。而在LLM推理这类极低算术强度的场景下，内存带宽才是推理体验的决定因素。理论生成速度（tokens/s）≈内存带宽/模型权重大小，举例而言，在50GB/s有效带宽情况下，3B模型INT4量化后约1.7GB，理想速度约30 token/s，这一速度能够被用户接受，而8B/30B模型INT4量化后约4.5GB/16GB，同样带宽下只有11/3 token/s，这样的推理生成速度明显吃力，将大幅影响端侧的推理体验。同时，功耗是另一重约束峰值算力的限制，端侧推理时NPU和内存系统同时高负载，整机功耗更大，在持续高负载下，终端的温度会明显升高，进而导致推理速度进一步下降。

此外，软件工具即算子和编译器也影响硬件性能上限，卷积和矩阵乘法通常可以高效执行，但LayerNorm、Softmax、Gather、Scatter、动态Shape、注意力机制和自定义算子可能受到更多限制，当某个算子无法运行在NPU上时，运行时需要将数据转移到CPU或GPU，完成计算后再传回NPU。一个只占模型计算量很小的算子，也可能因为数据复制、格式转换和同步开销，成为整张网络的性能瓶颈。这正是编译器价值所在，优秀的编译器需要完成模型转换、算子融合、计算图切分、 张量排布、片上存储分配和混合精度选择。卷积、偏置、归一化和激活函数如果能够融合执行，可以减少多次中间结果写回；如果不能融合，每一个算子都可能产生新的访存开销。因此，软件工具决定开发者能否靠近硬件性能上限。

生态效率也是影响端侧AI部署的重要一环，端侧AI面向千行百业，应用场景众多，对于客户而言，某款芯片的社区活跃度和开发板更加完善，相关的文档、量产案例更加丰富，便能降低项目的开发周期、部署难度并减少试错成本。然而端侧AI所需要的NPU具备碎片化特点，相较于多数均使用ARM架构的CPU/GPU，其CPU指令集几十年稳定，软件编译后可适配不同终端，而NPU的架构类型相当碎片化，PU算子、模型架构持续迭代，由CNN转向Transfomer最后再转向KV Cache/MoE，同时不同的NPU架构适应于不同的应用场景，各家NPU设计架构不同，缺乏统一的标准，这会显著提升终端客户的项目开发难度。

3.2.2 国内头部SoC公司产品迭代加速，满足多样化算力要求

为应对端侧AI在终端差异化的部署要求，国内头部SoC公司均在加速产品迭代，同时不断完善工具链以及生态，我们认为在AIoT领域，国内头部SoC具备全球竞争力，而海外头部厂商更侧重云侧AI以及手机、PC等核心消费终端芯片，伴随产品迭代加速，这些国内头部SoC将充分受益端侧AI浪潮，保持快速成长态势。