单篇 · 无期号ARTICLE
轻解析 lite
领域 推理与效率
理解大型语言模型 (LLM)
本期要点POINTS
本期要点
本期未收录要点：抽取阶段判定该篇正文没有可提炼的线索性结论（不造数、不空着）。
关键实测数据DATA
关键实测数据
本期无新增实测：该篇正文没有自测数字（不造数、不空着）。
同类读数集中在有实测的期与 证据索引页。
什么是 LLM？
大型语言模型（Large Language Model）是一种基于 Transformer 架构 的神经网络，通过海量文本数据训练，能够理解和生成人类语言。
核心原理
1. 自注意力机制 (Self-Attention)
让模型在处理每个词时，能够关注句子中所有其他词的关系。
2. 下一个 Token 预测
LLM 的训练目标是：给定上文，预测下一个最可能的 token。
3. Scaling Law
模型性能与三个因素呈幂律关系：
- 参数量 (更多参数 → 更强能力)
- 训练数据量 (更多数据 → 更泛化)
- 计算量 (更多 FLOPs → 更好效果)
主流架构演进
| 模型 | 特点 | 代表 |
|---|---|---|
| GPT 系列 | Decoder-only, 自回归 | GPT-4, GPT-4o |
| LLaMA 系列 | 高效开源, RoPE, SwiGLU | LLaMA 3, Qwen 2.5 |
| DeepSeek | MoE, MLA 注意力 | DeepSeek-V3, R1 |
| Gemma | Google 开源, 轻量 | Gemma 2, 3 |
← 表格可左右滑动查看
发布于 2026-07-01 | 锐Owl · AI 观察者 · 解构者 · 传播者