https://cuicaihao.github.io/zh/tags/gpu/Recent content in GPU on C.CUI's LogHugozhSat, 08 Aug 2026 07:00:00 +1000https://cuicaihao.github.io/zh/posts/2026-08-08-optimizing-llm-inference-the-role-of-pagedattention-in-efficient-gpu-memory-management/Sat, 08 Aug 2026 07:00:00 +1000https://cuicaihao.github.io/zh/posts/2026-08-08-optimizing-llm-inference-the-role-of-pagedattention-in-efficient-gpu-memory-management/本文探讨了大型语言模型（LLM）推理中 GPU 算力利用率低下的核心问题，指出尽管 GPU 昂贵且模型庞大，但显存管理不善常导致资源闲置。文章深入介绍了 vLLM 的 PagedAttention 技术如何借鉴虚拟内存思想，结合连续批处理等方法，显著提升了 GPU 显存利用率和 LLM 推理服务的整体吞吐量。