Qwen3-0.6B-FP8实操手册：vLLM服务监控（Prometheus+Grafana）集成指南

Qwen3-0.6B-FP8实操手册vLLM服务监控PrometheusGrafana集成指南部署好一个AI模型服务比如我们这里用vLLM跑的Qwen3-0.6B-FP8只是第一步。接下来你可能会遇到一些头疼的问题服务现在运行得好吗每秒能处理多少请求内存占用高不高会不会突然卡住或者崩溃如果出了问题我们怎么第一时间知道而不是等到用户投诉才发现这些问题就是服务监控要解决的。今天我就带你手把手给已经部署好的Qwen3-0.6B-FP8 vLLM服务加上一套专业的“仪表盘”和“警报器”——也就是用Prometheus收集数据用Grafana展示图表。这套组合是业界监控的黄金标准能让你对服务的运行状态了如指掌。学完这篇你不仅能监控模型服务这套方法同样适用于监控你部署的其他任何Web服务。1. 监控方案全景Prometheus Grafana 是什么在开始动手之前我们先花几分钟搞清楚我们要用的这两个工具到底是干嘛的以及它们是怎么配合工作的。这样后面操作起来你会更加心中有数。你可以把整个监控系统想象成一个工厂的质检部门Prometheus普罗米修斯就像一个个在生产线旁不停记录数据的质检员。它按照你设定的时间比如每15秒主动去各个机器和服务上“抓取”运行数据比如CPU用了多少、内存还剩多少、服务处理了多少个请求等等然后把这些数据存到自己的时间序列数据库里。Grafana格拉法纳就像工厂监控中心里的大屏幕。它本身不生产数据而是从Prometheus那里读取存储好的数据然后用非常漂亮的图表、曲线图、仪表盘展示出来。你可以自定义看板一眼就能看到服务的健康状态、性能趋势。那么我们的vLLM服务怎么把数据给Prometheus这个“质检员”呢这就需要一个“翻译官”——Exporter导出器。vLLM服务内置了Prometheus格式的指标接口我们只要让Prometheus知道这个接口地址它就能定期来抓取数据了。整个流程很简单vLLM暴露指标 - Prometheus抓取并存储 - Grafana查询并展示。2. 前期准备确认你的vLLM服务在加装监控之前你得先确保你的“车”vLLM服务已经发动起来了并且有地方可以接上我们的“仪表盘传感器”指标接口。2.1 检查vLLM服务状态与指标端口根据你提供的资料服务已经通过Chainlit前端测试成功。现在我们需要确认vLLM是否在启动时开启了Prometheus指标收集功能。通常使用vLLM部署时可以通过--prometheus-port参数来指定一个端口用于暴露监控指标。你需要检查你的启动命令或配置。查看启动日志使用你提供的命令查看服务日志确认启动参数。cat /root/workspace/llm.log在日志中寻找类似Started Prometheus metrics endpoint at http://0.0.0.0:8000/metrics的信息。这里的8000就是指标端口你的端口可能不同可能是8000,8001,8002等。验证指标接口假设我们从日志中看到指标端口是8002。我们可以用curl命令测试一下这个接口是否正常。curl http://localhost:8002/metrics如果返回了一大堆以# HELP和# TYPE开头后面跟着类似vllm:request_latency_seconds_bucket{...}的数据那就恭喜你指标接口是开放的。如果连接被拒绝或返回404则说明启动时未开启该功能你需要修改vLLM的启动命令加上--prometheus-port 8002端口号自选参数后重启服务。记下这个端口号例如8002我们后面配置Prometheus时会用到。同时记下你服务器的IP地址如果Prometheus和vLLM不在同一台机器则需要用IP如果在同一台用localhost即可。3. 部署与配置Prometheus现在我们来部署“质检员”Prometheus。我们将在你的服务器上安装并运行它。3.1 下载并安装PrometheusPrometheus是用Go写的直接下载预编译的二进制文件运行是最简单的方式。进入工作目录并下载cd /root/workspace wget https://github.com/prometheus/prometheus/releases/download/v2.51.2/prometheus-2.51.2.linux-amd64.tar.gz请注意版本号v2.51.2可能会更新你可以去 Prometheus官网 查看最新稳定版。解压文件tar xvfz prometheus-2.51.2.linux-amd64.tar.gz cd prometheus-2.51.2.linux-amd64解压后你会看到几个关键文件prometheus主程序、prometheus.yml配置文件、consoles和console_libraries网页控制台文件。3.2 配置Prometheus抓取vLLM指标接下来我们要告诉Prometheus去哪里抓取数据。编辑配置文件prometheus.yml。备份原始配置可选但建议cp prometheus.yml prometheus.yml.bak编辑配置文件vi prometheus.yml或者使用你熟悉的文本编辑器如nano。修改配置内容找到scrape_configs:部分。默认可能有一个抓取Prometheus自身指标的job。我们在它下面添加一个新的job来抓取vLLM。假设你的vLLM指标地址是localhost:8002。# 默认的抓取自身配置 scrape_configs: # 监控Prometheus自己 - job_name: prometheus static_configs: - targets: [localhost:9090] # 新增监控vLLM服务 - job_name: vllm-qwen # 抓取间隔默认15秒 scrape_interval: 15s static_configs: - targets: [localhost:8002] # 这里替换成你的vLLM指标地址和端口 labels: service: qwen3-0.6b-fp8 instance: vllm-server-01job_name: 给这个监控任务起个名字比如vllm-qwen。targets: 最关键的一行填入你的vLLM服务的指标地址。如果vLLM和Prometheus在同一台机器用localhost如果在不同机器用内网IP。labels: 可以添加一些自定义标签方便在Grafana里筛选和识别。保存并退出。3.3 启动Prometheus服务配置好后就可以启动Prometheus了。为了让它在后台持续运行我们可以使用nohup或者创建一个systemd服务。这里先用简单的nohup方式。启动Prometheusnohup ./prometheus --config.fileprometheus.yml prometheus.log 21 这条命令的意思是在后台运行prometheus程序使用我们刚才修改的配置文件并将所有输出包括错误重定向到prometheus.log文件中。检查是否启动成功# 查看进程 ps aux | grep prometheus # 查看日志 tail -f prometheus.log如果看到日志中有Server is ready to receive web requests.之类的信息说明启动成功。访问Web界面Prometheus默认运行在9090端口。打开你的浏览器访问http://你的服务器IP:9090。在顶部导航栏点击“Status” - “Targets”。你应该能看到两个目标prometheus(状态为UP) 和vllm-qwen。如果vllm-qwen的状态也是UP并且Last Scrape时间在不断更新恭喜你Prometheus已经成功抓取到vLLM的指标了。你还可以在“Graph”页面输入一个指标名比如vllm_num_requests_total来查询试试看。4. 部署与配置Grafana“质检员”Prometheus已经把数据记在小本本上了现在我们需要“大屏幕”Grafana来展示。4.1 安装并启动Grafana这里我们使用官方提供的安装方式以Ubuntu/Debian系统为例。安装Grafana# 添加Grafana的APT仓库密钥 sudo apt-get install -y software-properties-common sudo add-apt-repository deb https://packages.grafana.com/oss/deb stable main wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - # 更新并安装 sudo apt-get update sudo apt-get install grafana对于其他系统请参考 Grafana官方安装指南。启动Grafana服务# 启动服务 sudo systemctl start grafana-server # 设置开机自启 sudo systemctl enable grafana-server # 查看服务状态 sudo systemctl status grafana-server如果状态显示active (running)说明启动成功。Grafana默认运行在3000端口。4.2 配置Grafana连接Prometheus登录Grafana打开浏览器访问http://你的服务器IP:3000。默认用户名和密码都是admin。首次登录会要求你修改密码。添加数据源登录后点击左侧导航栏的“Connections”旧版可能是“Configuration” - “Data Sources”。点击“Add new data source”。选择“Prometheus”。在“HTTP”部分的“URL”中填写你的Prometheus地址http://localhost:9090如果Grafana和Prometheus在同一台机器。否则填写Prometheus所在机器的IP和端口如http://192.168.1.100:9090。其他设置可以保持默认滚动到页面底部点击“Save test”。如果显示“Data source is working”说明连接成功4.3 导入vLLM监控仪表盘Dashboard从头创建一个监控面板很麻烦好在社区已经有做好的vLLM监控面板模板我们直接导入就行。获取仪表盘模板IDGrafana官网有一个社区贡献的vLLM监控面板ID是19619。你也可以搜索 “vLLM” 找到其他模板。导入仪表盘在Grafana左侧导航栏点击“Dashboards”-“New”-“Import”。在“Import via grafana.com”输入框中填入模板ID19619然后点击“Load”。在下一步中选择我们刚才添加的Prometheus数据源然后点击“Import”。查看监控面板导入成功后你会自动跳转到一个功能丰富的监控面板。这个面板通常包含以下关键图表请求速率QPS每秒处理的请求数。请求延迟LatencyP50, P90, P99等分位的响应时间。Token生成速率每秒生成的Token数量。GPU/CPU使用率计算资源的使用情况。内存使用量vLLM服务的内存占用。缓存命中率对于vLLM的PagedAttention特性这个指标很重要。错误率请求失败的比率。现在你的Qwen3-0.6B-FP8 vLLM服务的所有核心运行指标都清晰地展现在这个可视化的面板上了你可以观察服务的实时负载、性能瓶颈和健康状态。5. 总结与进阶建议走到这一步你已经成功为你的AI模型服务装上了“眼睛”和“耳朵”。让我们回顾一下关键步骤并看看还能做些什么让监控系统更强大。5.1 核心步骤回顾确认源头确保vLLM服务已启动并暴露了Prometheus指标接口/metrics。部署采集器安装并配置Prometheus将其指向vLLM的指标地址使其能定期抓取数据。部署展示台安装Grafana并将其数据源配置为刚才部署的Prometheus。可视化监控导入社区成熟的vLLM监控仪表盘模板即刻获得专业的监控视图。5.2 下一步可以做什么现在的监控是“可观测”但还不够“智能”。你可以考虑设置告警Alerting这是监控系统的核心价值之一。你可以在Grafana或Prometheus Alertmanager中配置规则例如当请求延迟P99超过1秒时发送警告。当服务错误率连续5分钟大于1%时触发严重警报。当GPU内存使用率超过90%时提前预警。 告警可以通过邮件、钉钉、企业微信、Slack等渠道通知你让你在用户感知到问题之前就介入处理。监控Chainlit前端除了后端vLLM你的Chainlit Web前端本身也是一个服务也可以暴露指标例如请求数、在线用户数并被Prometheus抓取在Grafana中统一展示。监控系统资源使用node_exporter来收集服务器本身的CPU、内存、磁盘、网络等指标让你同时掌握硬件资源的使用情况。定制化仪表盘根据你的业务需求在现有模板上添加新的图表。比如你可以创建一个图表专门监控针对某种特定类型请求通过标签筛选的延迟情况。有了这套监控系统你就不再是“盲人摸象”。无论是进行性能调优、容量规划还是快速故障排查你都有了坚实的数据支撑。希望这篇指南能帮助你更好地管理和运维你的AI服务。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。