过去几年,AI 行业热衷于比参数、拼算力、讲融资。但模型一旦离开展台,客户的问题立刻具体起来:数据会不会泄露?设备能不能 24 小时运行?响应够不够快?噪声大不大?
10 月 14 日,后摩智能在北京开了一场生态合作伙伴大会。期间,极客公园创始人 & CEO 张鹏主持了一场圆桌,五位来自不同赛道的人坐到了一起:麒麟软件副总经理 / 生态发展中心总经理姚翎、聊趣智能科技创始人兼 CEO 黄隽实、罗格数据 CTO 刘学鹏、寅谱计算 CMO 陈展凌、后摩智能 AI 系统总工程师陈仲铭。
他们分别来自操作系统、应用、数据工程、整机集成和芯片领域,讨论的是同一件事:端侧 AI 什么时候才能真正成为一门生意?
黄隽实讲了一个养老院里的故事。他们在上海落地了一套「数字家人」,陪老人聊天、提醒用药、辅助防诈骗。老人每天说了什么、身体状况如何,都是极其敏感的信息,不能随意上传云端;系统又要全天值守,设备还不能嗡嗡作响。到了这样的现场,隐私、算力、功耗和噪声都不再是技术指标,而是老人愿不愿意使用的前提。
在企业市场,答案同样清晰。刘学鹏认为,客户最关心的是私域化专属。「AI 未来会成为企业的数字专家或数字员工,这种触及核心业务的『员工』,必须招进公司内部,而不是变成外部的云端服务。」当模型开始读取发票、财报、订单和客户资料,数据边界就不再是附加选项,而是商业落地的前提。
对央企及关键岗位而言,安全门槛更加严格。姚翎表示,只要 AI 工具部署在互联网上,涉密数据就绝对不能碰。大模型甚至可能从不同时段上传的碎片信息中,拼凑出完整内容。「本地安全是重中之重,没有任何商量的余地,安全就是一切的前提。」
陈展凌直言,客户未必在意省了多少 Token,他们更关心体验。首字出来要多久,机器是否安静,系统会不会卡顿,能否连续稳定运行,这些看似琐碎的问题,决定了产品是被长期使用,还是演示结束后被塞进柜子。
端侧 AI 的难点,不只是把大模型装进小设备,更是把通用能力变成可持续交付的专业服务。模型发布后能否及时适配,硬件成本能否降到客户可接受的范围,软件伙伴能否低门槛开发,都会影响商业化的速度。
而在底层,端侧算力还要面对算力、带宽与功耗的「不可能三角」。陈仲铭说,后摩要做的,就是不断把这三条边界向外推,并通过开放软件、接口和 API,让更多开发者参与进来。
在对话的最后,刘学鹏给了一个大胆的判断:在中国,AI 真正落地,一定是「端侧为主,云端为辅」。端侧是个人和企业的专属大脑,云端是负责知识流动的社会大脑。