加载中...
文章
238
标签
328
分类
32
首页
时间轴
标签
分类
关于
Smarter's blog
搜索
首页
时间轴
标签
分类
关于
Mini Infer
分类 - Mini Infer
2026
2026-04-08
mini-infer系统实战-10-阶段复盘:从串行 Decode 到 OpenAI 兼容 HTTP 服务
2026-04-08
mini-infer系统实战-11-Chunked Prefill:长 prompt 为什么会饿死并发请求
2026-04-08
mini-infer系统实战-12-Prefix Caching:前缀复用为什么不是简单命中缓存
2026-04-08
mini-infer系统实战-13-Speculative Decoding:正确性、接受率与双 forward 代价
2026-04-08
mini-infer系统实战-14-CUDA Graph:静态图怎么和动态调度共存
2026-04-08
mini-infer系统实战-15-Flash Decoding:Split-K Attention 为什么能把 SM 利用率拉起来
2026-04-08
mini-infer系统实战-16-Tensor Parallelism:从 Pipeline Parallel 走向真正的权重切分
2026-04-08
mini-infer系统实战-17-MLA Attention:从 KV Cache 压缩到矩阵吸收
2026-04-08
mini-infer系统实战-18-PD 解耦:把 Prefill 和 Decode 拆进两个进程之后发生了什么
2026-04-08
mini-infer系统实战-19-量化推理:把 Linear 改成 INT8 之后,问题才刚开始
1
2
3
Smarter
我就是要爬这座山
再见少年拉满弓,不惧岁月不惧风
文章
238
标签
328
分类
32
Follow Me
公告
路虽远,行则将至;事虽难,做则可成。
不积跬步,无以至千里;不积小流,无以成江海。
漫漫长途,终有回转;余味苦涩,终有回甘。
天下大事,必作于细;天下难事,必作于易。
不经一番寒彻骨,怎得梅花扑鼻香。
最新文章
mini-infer系统实战-00-导读:从最小推理链路到 MoE Expert Parallel 的项目路线
2026-04-08
mini-infer系统实战-01-最小推理链路:为什么要从 HuggingFace generate() 走向自己的引擎
2026-04-08
mini-infer系统实战-02-Paged KV Cache 与 Batch Decode:从串行推理到 mini-vLLM
2026-04-08
分类
AI Agent
1
AI Infra
121
CUDA
19
GPU
15
LLM Serving
3
Mini Infer
25
Pytorch
11
Transformer
12
标签
vLLM
LLM
PagedAttention
KV Cache
AI系统
AI Infrastructure
内存管理
大模型推理
Transformer
推理优化
模型部署
Ubuntu Server
RTX 4090
SSH
VSCode Remote
LLM Serving
分布式推理
量化
MoE
CUDA
GPU编程
并行计算
系列导读
学习路线
性能优化
高性能计算
Shared Memory
Tiling
Memory Bound
Roofline
GEMM
Kaggle
GPU
Register Tiling
外积
Thread Coarsening
cuBLAS
Softmax
LayerNorm
RMSNorm
归档
四月 2026
96
三月 2026
45
二月 2026
15
一月 2026
38
十二月 2025
7
十一月 2025
1
十月 2025
23
九月 2025
2
网站信息
文章数目 :
238
运行时间 :
本站总字数 :
801.5k
本站访客数 :
本站总浏览量 :
最后更新时间 :
搜索
数据加载中