Token 编解码流水线（Encoding / Decoding）
核心问题：自然语言不是模型的直接输入，必须先转换为 Token ID 序列
输入文本
中文 / English / Emoji
上下文片段 + 指令
Tokenizer
BPE / Unigram 等规则
子词切分 + 词表映射
Token IDs
[1234, 98, 456...]
可供矩阵计算
模型输出
Next Token
采样策略控制
Encoding 阶段
1) 文本规范化（空白、标点、Unicode）
2) 子词切分（Subword Segmentation）
3) 映射为 Token ID + Position 信息
4) 统计 Token 数用于成本估算
Decoding 阶段
1) 根据概率分布采样 Next Token
2) Top-k / Top-p / Temperature 控制多样性
3) Token 序列还原为自然语言
4) 命中停止条件（Stop Sequence / Max Tokens）