标签 | Smarter's blog

加载中...

vLLM LLM PagedAttention KV Cache AI系统 AI Infrastructure 内存管理大模型推理 Transformer 推理优化模型部署 Ubuntu Server RTX 4090 SSH VSCode Remote LLM Serving 分布式推理量化 MoE CUDA GPU编程并行计算系列导读学习路线性能优化高性能计算 Shared Memory Tiling Memory Bound Roofline GEMM Kaggle GPU Register Tiling 外积 Thread Coarsening cuBLAS Softmax LayerNorm RMSNorm RoPE FlashAttention Welford算法 Prefix Sum Scan Kogge-Stone Brent-Kung Warp Shuffle 寄存器通信归约算法前缀和 Reduce Warp Divergence FMA FP16 INT8 dp4a 混合精度 Vectorized Multi-Stream CUDA Graphs PyTorch Extension Pipeline C++ Extension Tensor Core WMMA Coalesced Access Bank Conflict Async Copy AoS SoA Padding Kernel Fusion Continuous Batching CUTLASS CuTe Template Metaprogramming 模板元编程 Multi-GPU NCCL AllReduce Ring Topology 分布式训练梯度同步 PCIe NVLink Roofline Model Occupancy ILP Nsight Compute 性能分析 Compute Bound Ascend C 算子开发 cuFFT Thrust 标准库 FFT 并行算法 PyTorch 深度学习 Python AMP Torch Compile ONNX CUDA入门编程模型执行模型全局内存共享内存内存合并原子操作并发占用率 Warp GPU架构核函数面试 PTX Triton SASS 矩阵乘法性能剖析调试 TensorRT-LLM 多GPU Kernel 开发系统设计 Prefill Decode SSE 流式输出模型服务 FastAPI ASGI OpenAI-Compatible API HTTP API OpenAI 兼容 Mini Infer 推理系统 Preemption chunked prefill Prefix Caching speculative decoding CUDA Graph Flash Decoding Tensor Parallelism PD 解耦多进程 MLA Expert Parallelism Grouped Execution 注意力机制 NLP 人工智能 OpenAI Triton NVIDIA Triton Linux 算子融合自动调优 Triton Inference Server 动态批处理 Perf Analyzer 性能压测最佳实践项目落地系统架构 Scheduler TTFT ITL LLMEngine AsyncLLMEngine 调用链多租户安全 Worker 推理执行链部署调优推理加速张量并行流水线并行源码结构 TGI SGLang 系统选型瓶颈定位 LeetCode C++KMP 字符串匹配动态规划数据结构 Kadane 最大子数组和贪心 DP 算法设计分治二分查找搜索位运算二进制算法技巧归并排序快速排序单调栈栈数组多维DP 回溯 DFS 递归剪枝快速选择二叉树 BFS 优先队列堆前缀树 Trie 字符串数学质数最大公约数链表双指针 Java 图拓扑排序区间排序读书笔记 N皇后剪枝优化移植异构计算并行计算入门线程束内存对齐合并访问常量内存 bank冲突 CUDA流事件指令级原语 warp洗牌循环展开 OpenACC P2P MPI PMPP 全书导读卷积图像处理直方图私有化动态并行递归算法四叉树未来趋势集群计算分布式计算向量加法模板计算 Stencil 工作效率 MRI 医学影像迭代重建基数排序计算思维方法论归并 Merge 动态数据识别图算法 CSR格式分子动力学静电势能科学计算稀疏矩阵 SpMV 归约分支发散卷积神经网络 cuDNN Effective Modern C++C++11 C++14 现代C++类型推导移动语义完美转发 Modelica 仿真综合仿真平台开发 Simulink Matlab 计算机系统系统编程操作系统 CSAPP Claude Code Codex cc-connect 飞书机器人 Agent Hook 自动化 Windows 通知 Git GitHub 版本控制工程协作 Pull Request Clash Mihomo 代理 Shell TUN 校园网深澜网络监控脚本开机自启 Proxifier VSCode 插件

评论

数据加载中