动态

MEPPP 热点收录 @meppp_hot
收录
没想到《深入理解 AI Infra》发布首日就突破 2k stars 了,比《深入理解 AI Agent》涨星都快 😂

不少读者问我怎么写出来的,我是上个月写了一份提纲,GPT-6 Astra 发布之后我就开始让 Agent 干活了:
1. 调研最近 3 年主要的几个系统和体系结构会议上的 paper,看哪些适合放在一本 Infra 教科书里的
2. 下载 NVIDIA、昇腾、Apple 等历代芯片架构的官方 spec,根据我的一个提纲建立性能模型
3. 下载 Qwen3 8B、Qwen3 30B A3B、DeepSeek V4 Flash、DeepSeek V4.1 Flash 等代表性模型架构,搞清楚算子和矩阵形状,建立性能模型
4. 调研 vLLM、sglang、ollama 等框架历史上的所有重要 feature
5. 读我 blog 里面跟 infra 有关的文章,以及我发表的几篇论文,提炼可泛化的思想

上述 5 条干了 3 天 3 夜,形成了 20 多 GB 的调研资料集(在 Git LFS 里面),以及一个包含各种模型、硬件参数的 calculations 工具。

然后我让 agent 参照《计算机体系结构:量化研究方法》的体例,以及《图解大模型》的配图风格调整提纲,我自己也跟它讨论,调整了几轮提纲。

最后让 Agent 根据提纲写作,体现我的思想,所有数据必须来自 calculations 工具计算,实验要求写代码验证,1 天后 Agent 交付了初稿。这时候的稿子仍然有很多 AI 味,又花了 2 天时间让它反复 review 并去除翻译腔、hedging(句末的免责声明、适用范围类语句),提升流畅性,并调整技术内容。

之前我也尝试让 AI 自己去根据提纲写书,结果发现写出来的全是口水话,信息密度低,也缺少 insight。人需要先调研再写作,AI 也一样。

就像邓煜老师说哪天 AI 要是能做所有数学研究,他就回家去写百合小说,要是哪天 AI 能做我所有的研究了,我就专心写书去。“古者富贵而名摩灭,不可胜记,唯倜傥非常之人称焉”,若立功不成,立言也不错啊。
原帖正文 没想到《深入理解 AI Infra》发布首日就突破 2k stars 了,比《深入理解 AI Agent》涨星都快 😂 不少读者问我怎么写出来的,我是上个月写了一份提纲,GPT-6 Astra 发布之后我就开始让 Agent 干活了: 1. 调研最近 3 年主要的几个系统和体系结构会议上的 paper,看哪些适合放在一本 Infra 教科书里的… https://t.co/PqWf10Yrjg
引用自 X 原作者:Bojie Li 原帖地址:https://x.com/bojie_li/status/2099525105126924576 原帖:
《深入理解 AI Infra》开源发布了!写完《深入理解 AI Agent》后,在与读者交流的过程中,我越来越感到,要开发好基于模型的应用,还需要理解它赖以运行的基础设施。最近几十年系统领域最重要的变化是编程抽象的上移:从操作系统到模型上下文。传统的操作系统、编译器和硬件要为事先未知的各种程序提供通用能力,系统优化总要在可编程性与性能之间取舍。如今 LLM 成了最重要的应用,可以针对特定的模型和加速器架构优化;模型设计也开始反过来适应硬件,DeepSeek V4/V4.1 重新设计长上下文的表示方式,就是一例。从某种意义上说,模型成了 LLM 时代的操作系统,AI Infra 成了 LLM 时代的计算机体系结构。《计算机体系结构:量化研究方法》是我在体系结构领域的入门书,而 AI Infra 领域还缺少一本从硬件约束和模型架构出发、量化推导系统设计的书,这是我写作本书的动机。全书约 500 页,包括 12 章:
1. 初识 AI Infra
2. 模型架构
3. 推理与训练负载
4. 加速器架构
5. 算子与运行时
6. 超节点
7. 数据中心网络
8. 推理优化
9. 分布式推理
10. 训练系统
11. 资源调度与运行环境
12. 端边云协同欢迎 star & 提 issue/PR!https://github.com/bojieli/ai-infra-book
引用自 X 原作者:Bojie Li https://x.com/bojie_li/status/2099165956102857169

0 条评论

还没有评论。第一条认真回应会很重要。