AI 最新动态 17 分钟阅读

把「先转文字」这一步删掉:Block 的 Dessa 让机器直接听情绪,一台 MacBook 就能跑

10 月 23 日,Jack Dorsey 旗下的 Block 放出语音模型 Dessa 的研究预览:不经过文本、不加载预训练权重,单台 GB200 NVL72 训练完成,M4 Max 的 MacBook Pro 就能本地跑,速度快于实时。没有论文、没有基准、没有权重、没有价格。这篇拆四件事:删掉文字层到底换来了什么、全双工改变了哪段成本、情绪识别在中国和欧洲各撞哪道红线、以及现在该按什么顺序试。

# 语音智能体# 全双工# 端侧推理# 客服中心# 数据合规
中国女性在录音棚内对着专业麦克风说话,暖色木质吸音墙与午后侧光

要点速览

Dessa 于 10 月 23 日以研究预览形式发布,全程不经过文本,也没有加载任何预训练权重。

训练只用了一台 NVIDIA GB200 NVL72 机架,官方把「小」写进了发布说明。

推理在 M4 Max 及以上配置的 MacBook Pro 上本地运行,官方称快于实时。

官方未公布参数量、训练时长、数据小时数、权重、许可证与价格,只有安全研究者候补名单。

全双工意味着它一边说一边听,会插话、会应声、会在句中笑出来,轮次结构被改写。

它不能联网、不能调工具、读不了文档,知识只来自训练所用的对话录音。

Block 旗下 Square 已在用语音 AI 接餐厅订单,本地推理直接改掉「按分钟计费」的成本结构。

欧盟把职场与教育场景的情绪推断列为禁止性实践,这条线比模型能力更早决定能不能上线。

三个参照系:Dessa、GPT-Live-1 与 Moshi

同样是「能边听边说」,三条技术路线的取舍完全不同

Dessa

Block · 纯语音 · 全双工

  • 单台 GB200 NVL72 完成训练
  • M4 Max MacBook Pro 本地推理
  • 无文本、无预训练权重
  • 权重与接口均未开放

GPT-Live-1

OpenAI · 全双工 · 有文本底座

  • 2026 年 7 月进入 ChatGPT
  • 难题转交后台模型处理
  • 与 Dessa 做过双向对话演示
  • 文本中间层仍保留

Moshi

Kyutai · 直接处理音频 · 保留内心独白

  • 从 70 亿参数文本模型出发
  • 一边预测音频一边预测文本
  • NVIDIA PersonaPlex 基于它构建
  • 走的是折中路线

从发布到争议,五天里发生了什么

一条没有基准的发布,反而把行业争论推到了「要不要保留文字层」这个更根本的位置

  1. 10 月 23 日

    Block 研究团队上线 Dessa 项目页,放出 6 段未经剪辑的实录音频与约 15 段对话样例

  2. 10 月 23 日

    负责人 Ragavan Thurairatnam 在社交平台称其为语音领域的「GPT-3 时刻」,该说法来自团队自述,非可复核结果

  3. 10 月 24 日

    中文科技媒体跟进,焦点集中在「无文本、无基准、无接口」三件事上

  4. 10 月 25 日

    欧洲合规媒体开始讨论:情绪识别在工作场所已被立法禁止,这类模型该往哪落地

  5. 10 月 25 日

    Block 确认开放范围仅为少量 AI 安全研究者,其余人进入候补名单,权重与许可证仍未公布

  6. 待定

    官方称将陆续放出更多录音,模型上线链接「即将」公布,未给时间表

一份几乎没有数字的发布说明

10 月 23 日,Block 的研究团队上线了一个叫 Dessa 的语音模型。这家公司更广为人知的身份是 Jack Dorsey 旗下的支付与小微商户服务商,Square 和 Cash App 都在它名下。发布形式很克制:没有论文,没有基准分数,没有接口文档,没有参数量,没有训练时长,也没有数据小时数。

能拿到的硬信息只有几条。模型在一台 NVIDIA GB200 NVL72 机架上训练完成,那是一个把 72 块 Blackwell GPU 用 NVLink 连起来的一体机架;推理可以在搭载 M4 Max 及以上芯片的 MacBook Pro 上本地运行,官方称速度快于实时;对外只开放给少量 AI 安全研究者,其余人排候补名单。团队规模被写进了说明里:六名研究员,加上几名实习生,负责人 Ragavan Thurairatnam 直接向 Dorsey 汇报。

一家做支付的公司,为什么要自己训一个语音模型?答案藏在它自己的业务里。Square 已经在用语音 AI 接餐厅的订餐电话,这类场景的特点是通话短、意图明确、量大、单价低。按分钟计费的云端语音服务在这种场景里会把毛利吃掉一大块,而一个能装在本地、不按分钟计费的模型,改变的是这块业务的成本结构,不只是体验。

所以这份「几乎没有数字」的发布说明,其实说了一件很具体的事:语音模型的竞争重心,正在从「音色像不像人」转到「中间那一层要不要留」。前者是效果问题,后者是架构问题,而架构一旦换了,成本、合规、可审计性会跟着一起换。

语音 AI 难听,问题不在音色,在中间那层文字

现在主流的语音助手是一条三段式流水线:语音识别把声音变成文字,大语言模型读文字写回复,语音合成再把文字读出来。这条链路工程上很成熟,也容易做风控——中间的文本可以读、可以记日志、可以拿关键词过滤。但它有一个绕不过去的代价:文字是一个把语音压扁的容器。

语速、停顿的长短、气息、笑意、犹豫、说到一半改口,这些东西在转写的那一刻就掉出去了。剩下的是干净的句子,也是没有情绪的信息。Block 在项目页上的原话很直白:世界上最强的 AI 也听不出你的感受,他们认为这不合理,体验差,而且存在潜在风险。

Dessa 的做法是把中间那层拿掉。音频进,音频出,训练数据只有人类的对话录音,没有文本语料,也没有加载任何预训练权重。团队用了一个类比:婴儿学会说话,从来没有先看过文字。他们想知道模型能不能也这样。

这不是孤例,而是过去一年里逐渐显形的一条分支。ElevenLabs 在 2026 年 3 月就公开承认,直接处理语音的模型在保留语调和情绪上确实更好;巴黎的 Kyutai 做的 Moshi 直接处理音频,但同时保留一条文本预测通道作为「内心独白」;NVIDIA 开源的 PersonaPlex 就建在 Moshi 之上。Dessa 的差别在于把文本彻底删掉,连内心独白都不留。

值得强调的是,这不是「更强的语音合成」。合成解决的是「读得像不像」,Dessa 想解决的是「听没听懂语气」。前者优化的是输出端,后者换的是整条数据通路。用语音训练语音,意味着语言本身也是从声音里学来的——这既是最有想象力的部分,也是最难验证的部分。

中国客服人员在呼叫中心戴着耳麦通话,眼前的屏幕上显示语音波形与实时指标
三段式流水线把语音压成文字,情绪在第一步就掉了;纯语音模型想保住的就是这一段。

全双工:从对讲机变成对话

传统语音助手更像对讲机:靠静音检测判断你说完了,然后才开口。这套机制在人说话有停顿、有思考、有插话的真实场景里,体验非常僵硬——你稍微停一下,它就抢话;你说得快一点,它就接不上。

全双工改的是这个结构。模型一边说一边听,可以在句子中间笑出来,可以在对方讲话时低声应一句「嗯」「对」,被要求大声一点时音量会跟着抬高,甚至能在你想不起某个词的时候替你补上。官方放出的 6 段录音没有剪辑,其中一段还让它和 OpenAI 的 GPT-Live-1 对聊。

全双工并不是 Block 首创。OpenAI 在 2026 年 7 月就把全双工带进了 ChatGPT,做法是把难题转交给后台模型处理,前台对话不中断。Dessa 的差异在于「全双工 + 纯语音训练」这个组合,官方称这是第一个完全从声音里学会对话的模型。

对业务来说,全双工改的不是音质,是轮次。一次客服通话里,相当一部分时间花在「等对方说完」和「确认对方还在」上,轮次结构一变,通话时长的分布就变了,坐席人效的算法也得跟着变。反过来说,轮次判断也是最容易翻车的地方:打断得太早像抢话,应声太密像敷衍,这些在人身上靠经验,在模型上靠训练数据里的对话节奏。

有一个细节值得留意。媒体报道提到,The Verge 的试听评价是「大部分自然,但偶尔尴尬、有点恐怖谷」,其中一段 Dessa 把对话方叫成了「Ronaldo」。这类错误在纯语音训练里更可能出现,因为它没有文本世界知识作为兜底。演示很惊艳,但它离「稳定可用」还有距离。

情绪这件事,在中国和欧洲各有一道线

Dessa 最有卖点的能力是「听得出情绪」,而这恰好是监管最敏感的方向。欧盟《人工智能法案》把在工作场所和教育场景推断情绪列入禁止性实践,同时要求在人机交互时明确告知对方正在与机器对话。换句话说,在欧盟,一个能判断坐席情绪或学员情绪的语音系统,大概率连试点都过不了。

国内的口径要分开看。声纹在多数合规实践里按生物识别信息处理,属于《个人信息保护法》定义的敏感个人信息,处理它需要单独同意、明确必要性,并做到最小化。同时,《生成式人工智能服务管理暂行办法》要求对生成内容作出标识,《人工智能生成合成内容标识办法》自 2025 年 9 月 1 日起施行,AI 生成的语音同样落在标识范围内。

把这三条放在一起,会得到一个很具体的结论:能不能上线,不取决于模型听得多准,而取决于四件事能不能答上来——录音落不落盘、落盘后谁能听、保存多久、能不能拿去再训练。这四问答不上来,模型再好也不该进生产环境。

还有一个容易被忽略的点:删掉文字层,等于删掉了一份「可读的日志」。文字转写虽然丢信息,但它是可审计的;纯语音模型的中间状态不可读,出问题之后回溯成本更高。这不是反对纯语音,而是提醒一句:保真和可审计,在这一代架构里是互相拉扯的。

情绪识别不是「加一个功能」,而是把系统从「处理业务信息」推进到「处理人的生物特征」。这一步跨过去,合规成本会跳一个量级。

算力账:一台机架训练,一台笔记本推理

训练侧的规模被官方主动说小了:一台 GB200 NVL72 机架。按前沿实验室的标准,这个规模确实不大,Block 自己把「小」写进了发布说明。这带来的直接含义是,语音模型的训练门槛没有想象中那么高,尤其在只做单一语种、单一场景的时候。

推理侧更值得算。官方说模型能在 M4 Max 及以上的 MacBook Pro 上本地跑,速度快于实时。这意味着两件事同时成立:商户不必按分钟付调用费,录音也不必离开自己的机器。对于一天几百通电话的门店,这两条加起来的分量,比「音色更像人」重得多。

把成本拆开看会更清楚。云端语音服务的账单通常由三块构成:识别、模型推理、合成,按分钟或按 token 叠加,通话量越大越贵。本地推理把可变成本换成了固定成本:一次性硬件投入、电费、运维,以及模型更新时的人力。固定成本对小店不友好——它要求你先相信这套东西能用两年以上。

所以真正该算的不是「每分钟便宜多少」,而是「一天多少通电话才能摊平」。经验上,电话量稳定、意图集中、话术不复杂的场景(订餐、预约确认、取件提醒、回访)最容易摊平;咨询类、投诉类、需要查政策的场景,摊不平,也不该摊。

还有一个隐性成本:异常兜底。任何语音系统都必须有一条「转人工」的路,而且这条路要足够短。转人工的比例、平均等待、转过去之后人工要不要重问一遍,这三项决定了客户最终记住的是「方便」还是「绕了一圈」。

它能干什么,干不了什么

先把边界说清楚。Dessa 不能联网,不能调用工具,也读不了文档;它知道的一切都来自训练用的对话数据。这意味着它不是一个知识助手,问它库存、问它政策、问它订单到哪了,它答不了——除非把这些信息预先编进对话训练里,而那既不经济也不可靠。

它能干的是另一类事:接起电话、确认意图、把话说完、把信息记下来。订餐时确认菜品和数量,预约时确认时间和门店,回访时确认满意度,催取时确认谁来拿。这些任务的共同点是短、闭环、有明确终点。

所以现阶段的定位应该老实一点:它是一个声音,还不是一个助手。声音层的价值在于「接得住、听得懂语气、不机械」,把客户留在这条线上;至于查数据、改订单、发通知,仍然要交给后面的业务系统。

这也解释了为什么 Square 的场景是餐厅订餐而不是全能客服。订餐是语音 AI 最容易做闭环的任务:菜单有限、话术固定、结果可验证、出错可回滚。从这个点切进去,再往上加能力,比一上来就做「什么都能问」的助手靠谱得多。

  • 适合:电话订餐、预约确认、取件提醒、满意度回访、简单政策播报
  • 不适合:需要查实时库存或订单状态的问询、投诉处理、涉及金额与合同条款的沟通
  • 必须配:一条足够短的转人工通道,以及转过去之后不用客户重说一遍的上下文传递
  • 先别碰:用情绪识别做坐席考核、员工监控、客户情绪打分后差异化定价

三个先别做,三个可以先做

第一个先别做:把演示当成采购依据。Dessa 目前没有基准、没有权重、没有价格,只有 6 段录音和一个候补名单。演示能证明「这条路走得通」,不能证明「你的场景跑得动」。

第二个先别做:把情绪识别用在人身上做管理。不管技术多准,用语音判断坐席有没有耐心、客户有没有被激怒,再据此考核或定价,在多数司法辖区都会撞上劳动法与个人信息保护的墙。

第三个先别做:把历史录音直接喂给模型。录音里有第三方声音,也有员工声音,未经单独同意的二次使用,风险不在模型侧,而在数据侧。

可以先做的三件事,和模型没关系,但决定了模型来了之后能不能接上。第一,把电话内容结构化成工单——不管这通电话是人工接的还是机器接的,先说清楚「一通电话应该留下哪几个字段」。第二,把「必须人工」的边界写成规则,而不是靠坐席临场判断。第三,把每分钟成本和错误成本分别算出来,前者容易算,后者才是决策依据。

这三件事做完,你会发现选型问题变得简单:能接上你工单结构的语音方案才有意义,接不上的,音色再好也只是个玩具。

结语:删掉一层之后,留下的是责任

Dessa 真正提出的问题不是「语音模型能不能更像人」,而是「我们愿不愿意为了保真,放弃那一层可读的中间表示」。文字层是工程上的安全垫:它让系统可读、可查、可拦截。删掉它,换来的是情绪与语气,付出的是可审计性。

这个交换在不同的业务里答案不同。订餐电话里,交换是划算的——损失可审计性换来更短的对话和更低的单价。投诉电话里,交换是不划算的——你更需要一份能复盘的记录,而不是一段听起来很共情的录音。

所以这一轮真正的门槛不在模型,而在两件很土的事:录音怎么治理,转人工的边界怎么划。模型会继续变强,这两件事不会自动变好。

技术把中间层删掉之后,责任不会消失,只是从「读日志」变成了「设计边界」。前者是运维问题,后者是管理问题。

常见问题

还不能。官方把开放范围限定为少量 AI 安全研究者,重点测试语音智能体冒充真人的风险,其余人只能进入候补名单。权重、代码、许可证、价格、接口都没有公布,也没有公布参数量与训练数据规模。对国内企业来说,现阶段能做的不是接入,而是把电话工单结构和转人工规则准备好,等可用版本出来再评估。

免费需求分析

看懂了趋势,下一步是选对系统

告诉我们你的行业、团队规模和最想自动化的环节,我们从 406 条产品线里帮你匹配合适的管理系统, 或按需求定制开发——并为 AI 接入预留好规范的数据接口。

电话咨询 17666080858

7×24小时在线

黄鹂鸟科技顾问微信二维码
微信扫码,一对一咨询

把文章里的思路,落成你的系统方案

留下行业与业务规模,我们免费给出针对性的选型建议与实施路径

服务保障

  • 免费需求分析
  • 按行业匹配系统
  • 实施方案透明
  • 7×24 技术支持