Episode
每日AI乱炖 · 2026-11-04
Show notes
每日AI乱炖 2026-11-04(约 15 分钟):Kimi K3.1 Pro 权重上线 Hugging Face;RunAnywhere 开源 trnrt;Sipeed 公布 MaixStation 规格;B200 实测:循环 Transformer 共享权重仍可能反复读取 HBM。 完整图文版:本期完整文章
1. Kimi K3.1 Pro 权重上线 Hugging Face
Moonshot AI(月之暗面)在 Hugging Face 的 moonshotai 账号上线 Kimi K3.1 Pro 权重,开发者和企业可下载、测试并评估本地部署。这是 K3.1 系列首个开放权重、原生多模态智能体模型。
2. RunAnywhere 开源 trnrt,优化 Trainium2 上的 GLM-5.3-Flash 推理
RunAnywhere 开源推理引擎 trnrt,也称 TrnRT,在单台 AWS trn2.48xlarge 上运行 GLM-5.3-Flash MoE。该 GLM-5.3 系列混合架构模型共 3200 亿,即 320B,每次激活 180 亿,支持 100 万 token 上下文。
3. Sipeed 公布 MaixStation 规格,最高配备 128GB 内存
Sipeed 公布了袖珍 Linux AI 工作站 MaixStation 的更多规格,面向本地 AI 推理和开发。它搭载 Axera AX8860P 处理器,集成 16 核 Arm CPU 和额定 256 TOPS FP4 的 NPU,最高配备 128GB LPDDR5X 内存,提供 273GB/s 内存带宽、10G SFP+ 网络和 PCIe 5.0 扩展。
4. B200 实测:循环 Transformer 共享权重仍可能反复读取 HBM
作者用 Nsight Compute 在 NVIDIA B200 上测试 Huginn 风格循环 Transformer,测量连续迭代的缓存复用、HBM 读取量和耗时。八次矩阵乘法共用一份 72 MiB 权重,比存放八份相同权重快 24%,几乎不读 HBM;增至 288 MiB、超过 L2 容量后,性能差异消失。
详情见本期完整文章: 每日AI乱炖 · 2026-11-04