开发者生态
Kubernetes上的AI：当模型推理遇上Service Mesh
2026年，66%的生成式AI推理负载已部署在Kubernetes上，但传统的负载均衡无法应对大模型对显存和Token的非线性需求。本文以Llama-3.1-8B的A/B测试为例，解析如何利用Istio构建专用Servi
阅读全文
Search
站内搜索
关键词：Kubernetes
找到 2 篇相关文章
开发者生态
GPU集群里那些占坑不干活的“影子租户”，怎么清理？
GPU算力太贵，但很多显存被无人监管的测试环境和僵尸Pod悄悄占用。通过 Prometheus 和 Kubernetes 的自定义查询，可以精准定位这些“影子租户”并分级回收，实测能降低 30% 以上的算力浪费。
阅读全文