跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

62 条精选近 30 天 57 条共收录 212 条

更新

精选归档 · 第 4 页

8月11日周二第 61–62 条
7月29日周三
  1. Berkeley AI Research81

    从CUDA到MLX:K-Search如何将数十年的内核专业知识引入Apple Silicon

    加州大学伯克利分校的研究团队开发了K-Search框架,通过结构化的CUDA到MLX翻译层,将NVIDIA的内核专业知识自动迁移到Apple Silicon芯片上。实验表明,该方法在注意力内核上实现了接近专家水平的性能(0.97倍速度提升),在Mamba SSM内核上实现了比社区实现高20倍的预填充速度。

    推荐理由:原文展示了如何将CUDA内核专业知识自动迁移到Apple Silicon,实现了接近专家水平的性能。