Model mới nhất
26 model open-weight. Thông số kiến trúc lấy trực tiếp từ
config.json trên HuggingFace. Cập nhật: 2026-10-14.
Nhỏ (≤40B): 9 · Vừa (40–150B): 7 · Lớn (>150B): 10
| Model | Tham số (B) | Layer / FA | Kiến trúc | Byte KV mỗi token | Context tối đa | VRAM tối thiểu (Q4, 1 user, 32K) |
|---|---|---|---|---|---|---|
| Qwen3.5 9B Alibaba |
9 | 32 / 8 | Lai: linear attention + full | 32.768 | 262.144 | 8 GB |
| Gemma 4 12B Google |
12 | 48 / 8 | Lai: sliding window + full | 16.384 | 262.144 | 10 GB |
| Mellum2.1 12B A2.5B JetBrains |
12 / 2.5 active | 28 / 7 | Lai: sliding window + full | 14.336 | 131.072 | 10 GB |
| gpt-oss 20B OpenAI |
21 / 3.6 active | 24 / 12 | Lai: sliding window + full | 24.576 | 131.072 | 16 GB |
| Gemma 4 26B A4B Google |
26 / 4 active | 30 / 5 | Lai: sliding window + full | 20.480 | 262.144 | 19 GB |
| Qwen3.8 27B Alibaba |
27 | 64 / 16 | Lai: linear attention + full | 65.536 | 262.144 | 21 GB |
| SEA-LION v4.8 30B A3B AI Singapore |
30 / 3 active | 52 / 6 | Lai: Mamba-2 + attention | 6.144 | 262.144 | 21 GB |
| Gemma 4 31B Google |
31 | 60 / 10 | Lai: sliding window + full | 81.920 | 262.144 | 25 GB |
| Qwen3.5 35B A3B Alibaba |
35 / 3 active | 40 / 10 | Lai: linear attention + full | 20.480 | 262.144 | 25 GB |
| Llama 4 Scout 109B Meta |
109 / 17 active | 48 / 48 | Full attention (GQA) | 196.608 | 10.485.760 | 81 GB |
| gpt-oss 120B OpenAI |
117 / 5.1 active | 36 / 18 | Lai: sliding window + full | 36.864 | 131.072 | 81 GB |
| Mistral Small 4 119B Mistral |
119 / 6.5 active | 36 / 36 | MLA (KV nén) | 23.040 | 1.048.576 | 81 GB |
| Nemotron 3 Super 120B A12B NVIDIA |
120 / 12 active | 88 / 8 | Lai: Mamba-2 + attention | 8.192 | 262.144 | 82 GB |
| SEA-LION v4.8 120B A12B AI Singapore |
120 / 12 active | 88 / 8 | Lai: Mamba-2 + attention | 8.192 | 262.144 | 82 GB |
| Qwen3.5 122B A10B Alibaba |
122 / 10 active | 48 / 12 | Lai: linear attention + full | 24.576 | 262.144 | 84 GB |
| Mistral Medium 3.5 128B Mistral |
128 | 88 / 88 | Full attention (GQA) | 360.448 | 262.144 | 100 GB |
| Solar Open 2 250B A15B Upstage |
250 / 15 active | 48 / 12 | Lai: KDA linear + GQA | 49.152 | 1.048.576 | 171 GB |
| GLM-5.3 Flash Zhipu AI |
320 / 18 active | 45 / 45 | MLA (KV nén) | 46.080 | 1.048.576 | 218 GB |
| Qwen3.5 397B A17B Alibaba |
397 / 17 active | 60 / 15 | Lai: linear attention + full | 30.720 | 262.144 | 270 GB |
| Llama 4 Maverick 400B Meta |
400 / 17 active | 48 / 48 | Full attention (GQA) | 196.608 | 1.048.576 | 278 GB |
| Nemotron 3 Ultra 550B A55B NVIDIA |
550 / 55 active | 108 / 12 | Lai: Mamba-2 + attention | 12.288 | 262.144 | 373 GB |
| DeepSeek V3 671B A37B DeepSeek |
671 / 37 active | 61 / 61 | MLA (KV nén) | 70.272 | 163.840 | 457 GB |
| DeepSeek V3.2 DeepSeek |
685 / 37 active | 61 / 61 | MLA (KV nén) | 70.272 | 163.840 | 466 GB |
| Kimi K2.5 Moonshot |
1000 / 32 active | 61 / 61 | MLA (KV nén) | 70.272 | 262.144 | 679 GB |
| Qwen3.8 2.4T A95B Alibaba |
2400 / 95 active | 92 / 23 | Lai: linear attention + full | 94.208 | 262.144 | 1628 GB |
| Kimi K3 Moonshot |
2800 / 104 active | 93 / 24 | Lai: MLA + KDA linear | 27.648 | 1.048.576 | 1897 GB |
Cột /FA = số layer full attention trên tổng số layer — đây là con số dùng để
tính KV cache. Byte KV mỗi token tính ở FP16. VRAM tối thiểu =
(trọng số Q4 + KV ở 32K cho 1 người dùng + overhead) × 1,15.
Xem Cạm bẫy kiến trúc để hiểu vì sao cột /FA quan trọng.
Xem Cạm bẫy kiến trúc để hiểu vì sao cột /FA quan trọng.