跳转到内容
主站 新闻 控制台

Meta 训练小型 AI 模型读取原始字节而非 Token:起步表现虽差,但论文预测最终更优

· Reddit · r/LocalLLaMA
Reddit

https://arxiv.org/pdf/2609.12303

这篇论文提出了一种跳过分词(tokens)处理、让模型直接读取原始字节(raw bytes)的架构,本质上相当于逐个字符进行读取。

他们所做的工作:

  • 训练了小型模型(约 10 亿 / 1B 参数),其中一部分基于分词(tokens),另一部分基于字节(bytes)
  • 部分训练通过借鉴/复制更大的模型完成(ll