大模型推理部署：vLLM 与性能优化实践
从 API 服务到自建推理，用 vLLM 上线大模型服务，掌握 KV Cache、连续批处理与量化三板斧。
搜索全站文章、教程与内容。
共找到 6 条结果（关键词：Python）
从 API 服务到自建推理，用 vLLM 上线大模型服务，掌握 KV Cache、连续批处理与量化三板斧。
用 PyTorch 搭一个识别手写数字的 CNN，完整走一遍数据加载、模型定义、训练与评估全流程。
从 Python 环境搭建讲到梯度下降与反向传播，手写一个线性回归，建立深度学习的第一块基石。
为什么微调比从零训练省得多？用 LoRA 冻结原模型、只训练低秩增量，在自己的数据上定制大模型。
视觉是机器人的眼睛：用 OpenCV 与深度学习做目标检测，理解相机标定与位姿估计的基本流程。
从坐标变换讲到机器人系统组成，搭好 ROS 2 环境，用节点与话题跑通第一个“数字机器人”。