https://arxiv.org/pdf/2609.12303
这篇论文提出了一种跳过分词(tokens)处理、让模型直接读取原始字节(raw bytes)的架构,本质上相当于逐个字符进行读取。
他们所做的工作:
- 训练了小型模型(约 10 亿 / 1B 参数),其中一部分基于分词(tokens),另一部分基于字节(bytes)
- 部分训练通过借鉴/复制更大的模型完成(ll
https://arxiv.org/pdf/2609.12303
这篇论文提出了一种跳过分词(tokens)处理、让模型直接读取原始字节(raw bytes)的架构,本质上相当于逐个字符进行读取。
他们所做的工作: