12GB 显存显卡跑 125B Qwen3.8 模型：Strata 登场，单张 RTX 5070 跑出 94 词元 / 秒

IT之家 10 月 6 日消息，科技媒体 gigazine 今日报道，开发者 Niko1221 开源了名为 Strata 的引擎，能够在显存达 12GB 及以上的消费级显卡上，运行量化后的 Qwen3.8-Flash-Next 模型（该模型拥有 1250 亿参数）。

IT之家注：Qwen3.8-Flash-Next 模型是阿里巴巴 Qwen 团队于 2026 年 8 月推出的多模态混合专家（MoE）模型的压缩版本，拥有 125B 参数，还包含 51B 参数的 n-gram 嵌入表，原生支持 262K token 的上下文长度。

为了降低显存占用，Strata 主要采用了两项核心技术：首先，将整个 MoE（混合专家）模型加载到 RAM 中，仅把频繁调用的专家模型加载到 VRAM 中。其次，利用轻量级模型进行投机解码，提前预测下一个 Token 以加速推理过程。

硬件要求方面，运行 Qwen3.8-Flash-Next 需要满足最低配置：至少 12GB VRAM 的 NVIDIA 或 AMD 显卡、32GB 以上 RAM、80GB 以上存储空间（推荐使用 SSD）、以及 Windows 10/11 或 Linux 系统。

在性能表现上，使用 NVIDIA GeForce RTX 5070（12GB VRAM）、Ryzen 5 7600 和 64GB RAM 的配置时，2 比特量化版 Q2_0 达到了 94 词元/秒的推理速度，而 3 比特量化版 IQ3_S 则为 53 词元/秒。在 AMD Radeon RX 9070 XT（16GB VRAM）环境下，Q2_0 版本达到了 60 词元/秒。

英伟达主机性能表现：

硬件配置： NVIDIA RTX 5070（12 GB 显存），AMD Ryzen 5 7600，64 GB 系统内存。

量化版本（Size）	写答案速度（Writes answers）	阅读提示速度（Reads your prompt）
Q2_0	94 个词元/秒	2,650 个词元/秒
IQ2_XS	79 个词元/秒	2,090 个词元/秒
IQ3_XXS	62 个词元/秒	1,750 个词元/秒
IQ3_S	53 个词元/秒	1,620 个词元/秒
Coder	55 个词元/秒	2,180 个词元/秒

AMD 主机性能表现：

硬件配置：AMD RX 9070 XT（16 GB 显存），AMD Ryzen 9 3900X，47 GB 内存。

量化版本（Size）	写答案速度（Writes answers）	阅读提示速度（Reads your prompt）
Q2_0	60 个词元/秒	1,160 个词元/秒
IQ2_XS	52 个词元/秒	1,110 个词元/秒
Coder	44 个词元/秒	1,420 个词元/秒

这里的“写答案”对应生成回复（输出）的速度，“阅读提示”对应处理你输入的 prompt（上下文）的速度。若想进一步探索类似技术，可参考开元棋牌官方下载的相关资源。

参考

• 点此前往 GitHub 体验 Strata