Kubernetes 资源隔离：AI 任务别和核心服务抢饭碗

一、AI 任务很容易吃资源

AI 推理、批处理、向量化、模型评测都会消耗 CPU、内存、GPU 和 IO。如果这些任务和核心在线服务混在同一个资源池里，低优先级任务就可能把在线服务挤慢。Kubernetes 提供很多隔离手段，但要主动设计。

资源隔离不是浪费，而是保护核心服务的基本动作。

二、先分工作负载等级

flowchart TD
  A[集群工作负载] --> B[核心在线服务]
  A --> C[在线模型服务]
  A --> D[批量 AI 任务]
  A --> E[离线实验任务]

核心在线服务和批量任务不应该享受同样优先级。不同等级对应不同 namespace、ResourceQuota、PriorityClass 和节点池。

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: online-high
value: 100000
preemptionPolicy: PreemptLowerPriority

优先级不是越高越好，要按业务重要性定义。

三、资源请求要写真实

resources:
  requests:
    cpu: "2"
    memory: "4Gi"
  limits:
    cpu: "4"
    memory: "8Gi"

不写 requests，调度器就不知道 Pod 需要多少资源；乱写 requests，调度结果也会失真。AI 任务尤其要注意内存和 GPU 需求。

CPU limit 也要谨慎。过低会导致 throttling，过高会影响其他服务。在线服务更需要稳定，离线任务可以接受被限制。

四、节点池和污点要配合

GPU 节点、在线服务节点、离线任务节点最好分开。通过 taint/toleration 和 nodeSelector 控制调度，避免普通 Pod 跑到昂贵 GPU 节点，也避免批任务挤占在线节点。

tolerations:
  - key: "workload"
    operator: "Equal"
    value: "batch-ai"
    effect: "NoSchedule"

还要配合 PodDisruptionBudget。核心服务在节点维护时不能一次性被赶走太多副本。

资源隔离也要观测。看 namespace 用量、节点水位、抢占次数、throttling、OOM 和调度等待时间。隔离策略不是写完 YAML 就结束。

最后，成本也要纳入。隔离过度会造成资源闲置，隔离不足会影响稳定。平台要在稳定性和利用率之间找平衡。

资源隔离还要配合准入控制。高优先级 namespace 不应该允许随便提交低价值批任务，GPU 节点也不应该接受没有标签的 Pod。策略写在文档里不够，要在 admission 层拦住。

admission_rules:
  require_workload_type_label: true
  block_batch_in_online_namespace: true
  require_gpu_quota: true

还要设计借用机制。在线服务低峰时，离线任务可以借用空闲资源，但必须能在高峰来临时让出。借用不是抢占永久配额，而是提高利用率的临时策略。

最后，隔离策略要做压测。模拟批任务暴涨、GPU 节点故障、在线流量突增，看核心服务是否仍能保持 SLO。没有压测，隔离只是纸面设计。

五、总结

Kubernetes 资源隔离要按工作负载等级设计 namespace、PriorityClass、Quota、节点池和污点容忍。

AI 任务再重要，也不能和核心服务抢饭碗。先隔离，再谈效率。