咸话咸说
◐
← All episodes

Episode

每日AI乱炖 · 2026-11-04

00:15:22 S2026 E308

Show notes

每日AI乱炖 2026-11-04(约 15 分钟):Kimi K3.1 Pro 权重上线 Hugging Face;RunAnywhere 开源 trnrt;Sipeed 公布 MaixStation 规格;B200 实测:循环 Transformer 共享权重仍可能反复读取 HBM。 完整图文版:本期完整文章

1. Kimi K3.1 Pro 权重上线 Hugging Face

Moonshot AI(月之暗面)在 Hugging Face 的 moonshotai 账号上线 Kimi K3.1 Pro 权重,开发者和企业可下载、测试并评估本地部署。这是 K3.1 系列首个开放权重、原生多模态智能体模型。

来源:huggingface.co

2. RunAnywhere 开源 trnrt,优化 Trainium2 上的 GLM-5.3-Flash 推理

RunAnywhere 开源推理引擎 trnrt,也称 TrnRT,在单台 AWS trn2.48xlarge 上运行 GLM-5.3-Flash MoE。该 GLM-5.3 系列混合架构模型共 3200 亿,即 320B,每次激活 180 亿,支持 100 万 token 上下文。

来源:reddit.com

3. Sipeed 公布 MaixStation 规格,最高配备 128GB 内存

Sipeed 公布了袖珍 Linux AI 工作站 MaixStation 的更多规格,面向本地 AI 推理和开发。它搭载 Axera AX8860P 处理器,集成 16 核 Arm CPU 和额定 256 TOPS FP4 的 NPU,最高配备 128GB LPDDR5X 内存,提供 273GB/s 内存带宽、10G SFP+ 网络和 PCIe 5.0 扩展。

来源:reddit.com

4. B200 实测:循环 Transformer 共享权重仍可能反复读取 HBM

作者用 Nsight Compute 在 NVIDIA B200 上测试 Huginn 风格循环 Transformer,测量连续迭代的缓存复用、HBM 读取量和耗时。八次矩阵乘法共用一份 72 MiB 权重,比存放八份相同权重快 24%,几乎不读 HBM;增至 288 MiB、超过 L2 容量后,性能差异消失。

来源:reddit.com

详情见本期完整文章: 每日AI乱炖 · 2026-11-04