LLM · 基础原理

先区分训练目标和模型结构，再沿一次请求的 Tokenizer → Transformer → 输出分布追踪数据。基础题不能只记名称：需要能算出张量形状和 KV Cache 大小，解释因果掩码、位置外推及分词边界。

章节

1. 第一章：大语言模型与传统 NLP 的本质区别
2. 第二章：Transformer 架构原理
3. 第三章：MHA 的局限与 MQA、GQA、Flash Attention
4. 第四章：位置编码
5. 第五章：Tokenizer 分词器

返回 LLM 相关知识点。