Qwen3.8-Flash-Next:Superblock 工程剖面
不是把层名排成一条流水线,而是同时看四个尺度:48 层节拍、一个 Superblock 的剖面、512 专家中的稀疏激活,以及跨层读写的记忆高速路。
LM BODY 125 B
ACTIVE 6 B
LAYERS 48
CONTEXT 262.144 K
四种语义,不靠箭头猜
青绿=状态;珊瑚=检索;紫色=专家;灰色虚线=控制。
SUPERBLOCK ×12
每组 3 个 Gated DeltaNet + 1 个 Qwen Sparse Attention,重复 12 次。
L25–L28
第 7 组作为微观剖面;结构相同,不代表参数共享。
状态更新、专家路由与稀疏检索并排读
沿紫色与红色连线读完一次前向计算,再沿青色回路返回下一组。可放大查看模块细节,点“全部”回到完整结构。
Gated Residual Highway
输入、词元记忆、跨层状态与三次 Delta 更新被画在同一个剖面里。
x_in: TOKEN
N-GRAM: 20M entries
GR READ ×4: state
L1 · Δh1: Gated DeltaNet
L2 · Δh2: Gated DeltaNet
L3 · Δh3: Gated DeltaNet
M[1] □ □ □ □ ··· □ □ M[N]: fixed-size recurrent state
MoE Router → Expert Field
门控分数只把当前 Token 送往 10 个 routed experts,并始终接入 1 个 shared expert。
E041: .96
E087: .91
E233: .83
... +7: TOP-10
10 selected + 1 shared: 501 routed experts remain cold
QSA → Σ → GR Write
先压缩索引开销,只对 Top-k 相关 Token 做全局计算,再聚合、残差相加并写回状态。
R1 · MICRO-BLOCK: 4-token compression
R2 · SCORE: block-level index
R3 · TOP-K: 2048 tokens
R4 · ATTEND: sparse global view
Σ: RESIDUAL
GR WRITE ×4: STATE
x_out: OUTPUT
STATE: 读写 / 局部记忆
ROUTE: 专家选择 / 容量
RETRIEVAL: 压缩 / Top-k / QSA
RESIDUAL: 主干 / 控制
3 + 1 的节拍不是口号
横轴 12 组,纵轴每组 4 个槽位;第 4 槽固定是 QSA。
Qwen 48-layer rhythm
12 个 Superblock 中每组三个 GDN 槽位和一个 QSA 槽位。
每 Token 的计算路径
模型主体 125B,但单个 Token 只激活约 6B。
Activated parameters per token
6B activated parameters compared with a 125B model body.
ACTIVATION RATIO: ≈ 4.8% of LM body
四条机制各解决一个瓶颈
GDN 负责把大量历史压进固定状态;QSA 只在每组第 4 层恢复稀疏的全局视野;MoE 把参数容量与每 Token 计算量拆开;GR 让四条残差分支按门控读写。
从输入到写回,用 10 个检查点复述一次
同一 Token 的逻辑顺序;颜色表示当前阶段主要由哪条机制接管。
00: Input
01: N-gram
02: GDN #1
03: GDN #2
04: GDN #3
05: Route
06: Experts
07: Top-k
08: QSA
09: GR Write
来源、口径与教学抽象
资料截面冻结于 2026-08-31。层数、3:1 注意力节拍、MoE 配置、上下文长度、Gated Residual 分支数与 N-gram 配置来自 Qwen 官方仓库、官方技术报告、官方博客及官方模型 config。图把每层重复出现的 MoE 抽象成一个共享的容量剖面,用于教学,不是逐算子执行图。