“词元”何以成为人工智能的关键

2026-08-25 11:17
来源:长江日报

人工智能特别是大模型技术迅猛演进,正深刻重塑产业格局与国际竞争态势,已成为世界各国必争的战略制高点。要真正把握这场变革,必须理解其底层Token,即智能计算的最小承载单元。它是理解大模型发展的钥匙,随着使用频率激增,前期缺乏规范中文译名。

2026年3月,全国科学技术名词审定委员会审定发布“词元”作为Token规范中文名。“词元”译名虽定,但概念界定未清,不仅掣肘学术交流与产业协同,也制约我国在人工智能领域的话语权建构。“词元”是什么,为什么如此命名、内涵外延与演进趋势如何,都需要系统厘清,为夯实我国人工智能自主概念体系、抢占智能与价值融合的未来先机提供理论支撑。

人工智能“词元”的概念及内涵

“词元”是人工智能领域英文名词Token的规范中文名。Token一词源于古英语Tācen,本义为符号或标记。“词元”(Token)是人工智能时代智能设备中信息存储、处理和交换的、具有一定语义的基本符号单元,特别是在大模型中属于模型处理和交换信息的最小单位,并具有可计量、可定价、可交易的智能时代特征。通俗地说,你给AI的任何信息,它都不能直接听懂或看懂,而是要先把这些信息拆成一个个最小的、带有独立意义的碎片,每一个碎片就是一个词元。

这种拆分并不局限于文字,一句中文会被切成一个个碎片,一个较长的英文单词可能被拆成若干块,一张图片会被切成一小格一小格的图像块,每一格是一个词元;一段语音会被切成一帧帧的声音片段,每一帧是一个词元;一段视频则会被切成按时序排列画面与声音单元,每一个单元也是一个词元。可见,无论是文本、图像、语音、视频,还是未来可能出现的其他新类型信息,只要经离散单元化处理进入模型,都会被切成这样统一的最小碎片,这些碎片就是词元,它是各类模态信息进入AI前统一的最小砖块。也正因为一切信息都被切成了这种统一的最小碎片,词元便像智能时代的一把标准尺子。

随着人工智能由单模态走向多模态、由数字世界走向物理与科学世界,“词元”的外延持续扩张,可分为两个层次。

一是文本模态的外延。它绝不限于自然语言,上至中、英等一切语种文字,旁及程序代码、数学公式、化学式乃至表情符号等一切可字符化的对象,皆在其列。此外,除承载实义的内容词元外,功能词元例如起止符、分隔符、掩码符、填充符等,同样是“词元”外延的成员。二是多模态延伸外延。当大模型从纯文本走向图像、语音、视频,“词元”的外延同步向非文本模态扩张。更进一步,在具身智能中,机器人的动作被离散为“动作词元”;在科学智能中,蛋白质的氨基酸序列、化合物的分子结构被编码为“生物词元”“分子词元”。凡能被离散化并纳入序列建模者,皆可成为“词元”。

“词元”成为人工智能的底层通用单元

“词元”它贯穿大模型运行的多个环节。

一是计量,“词元”是商业计费的基本单位。过去,AI服务难以定价,按项目?按时长?还是按调用次数?没有统一的尺度,“词元”一出,AI就有了如水、电、煤气般清晰可量的计价单元。“词元”由此超越技术范畴,成为人工智能产业“计价货币”与商业结算的最小单元。

二是性能,“词元”是算力效率的度量基准。推理速度以“每秒词元数”衡量,模型能力边界用可容纳的“词元”数量标定。推理优化、显存管理本质是“词元”吞吐的效率。“词元”成为贯通算法、算力、工程的统一性能标尺。

三是架构,“词元”是多模态融合的统一接口。文本、图像、语音、动作、分子等异构模态,一经“词元”化便获得共同的“数字公民身份”,得以在同一Transformer架构中被统一注意、统一建模、统一生成。

“词元”的意义正在超出传统语言模型。

一是具身智能,化动作为“词元”,令机器循令而行。视觉—语言—动作(VLA)模型的核心创新,正在于以“词元”为统一表示,将视觉、语言、状态、动作四类模态编码入共享嵌入空间,使模型既知做什么、又知如何做。

二是生命科学,化生命为“词元”,令模型解码天书。把蛋白质结构、分子信息等转化为模型能够处理的离散单元,让原本复杂的生物信息进入人工智能的处理框架。由此,制药与生物发现被纳入生成式统一接口,垂直领域的专用模型壁垒被“词元”悄然消融。

三是其他领域,化异构为“词元”,令范式一体贯通。自动驾驶的世界模型将时空场景切分为视觉“词元”、金融与工业将时间序列离散为“词元”、遥感气象将观测场编码为“词元”,其底层逻辑无一例外:先离散化为“词元”,再交由序列模型统一建模。不同领域千差万别,“词元”化的方法论却高度同构,这正是“词元”作为通用原语的深层价值。

“词元”未来发展趋势

“词元”正沿两条主线演化。一是作为技术单元,它将经历一场自我解构,从人工设定的静态符号走向模型自主习得的动态单元,甚至走向消亡;二是作为价值单元,它将完成一场身份跃迁,从技术计量单位升维为人工智能经济价值尺度与结算媒介。

“词元”自身演进的趋势是由固定走向动态,由建构走向弹性。一是“词元”的切分方式。当前主流的方法本质是在训练前依照人工规则,把文字预先切分并固化成一张词表,模型此后只能照此执行。问题在于,这张词表固化在前且带有先天偏向,它多围绕英语等主流语言归纳而成,因而一旦遇到中文、小语种或冷门领域,便易把完整词语切得支离破碎,既徒增算力,也让非主流语言吃亏。因此,“词元”正从人工预设的固定单元,转变为模型随语境即时生成的灵活单元。二是从固定词元到动态图块,“词元”或被更优单元取代乃至消解。信息应按其复杂度来分配算力,可预测处用大图块省算力,复杂处用小图块补精度。由此可推演,作为人工预处理产物的经典“词元”,可能在架构上被“熵驱动的动态图块”所取代;但图块本身仍是离散化后进入模型、承载信息而不携带智能的基本单元,这恰恰印证了“词元”内涵的不变性,即形式可以更迭,但作为离散基本单元的本质不灭。三是从符号压缩到语义压缩,“词元”的信息密度将持续跃升。可以前瞻,未来的基本单元将超越字符与字节层面的表层压缩,走向概念级、语义级的深度压缩,一个单元可能直接对应一个概念、一个动作意图乃至一段推理步骤,“词元”的粒度将从符号向思想攀升。

“词元”将由计量单位升维为价值尺度,或将成为一种功能性准货币。综合研判,“词元”不会成为法定意义上的货币,但极有可能演化为人工智能经济体内部的价值计量本位与事实结算单位,即一种功能性的准货币。一是因为它已具备货币的第一职能价值尺度。大模型服务普遍以每百万词元定价,输入输出分别计价。当全行业的成本、定价、投入产出皆以“词元”为锚,它便获得了货币最核心的价值尺度职能。二是它正在获得货币的第二职能流通结算。随着智能体(AI Agent)经济兴起,机器与机器之间将高频地相互调用、彼此付费。在这种机器对机器的微支付场景中,以词元消耗量作为服务计量与结算的天然单位,则精准且低摩擦。据此预测,“词元”有望成为智能体之间价值交换的记账单位与结算媒介。但它终究难成完全意义上的货币,因为缺乏价值贮藏职能。货币还须具备价值贮藏职能,要求币值相对稳定。而“词元”的实际价值由算力成本决定,正随技术进步而急剧贬值(推理成本逐年数量级下降),这种强烈的通缩属性使其无法承担价值贮藏手段。

(作者分别为浙江大学中国西部发展研究院院长、研究员、博导,浙江大学国家战略与区域发展研究院副院长;浙江工商大学现代商贸研究中心院长、教授;浙江大学国家战略与区域发展研究院首席专家,校文科资深教授,浙江省人民政府咨询委副主任)