Routing & Policy Engine

Routing Boyutları

Risk + Cost + Provider Bilinci

Policy engine; use-case registry, risk değerlendirmesi ve provider health sinyallerine göre istekleri yönlendirir.

Use-case Based

Her registry kaydı model, prompt ve policy kimliğini içerir. Gateway bu metadata'yı kullanarak doğru route'u seçer.

Risk-based

Medikal veya yüksek riskli içerikler otomatik olarak güvenli modeller ve stricter prompt'lara yönlendirilir.

Cost-based

Bütçe hedeflerine göre ucuz modeller seçilir, latency/cost dengesi policy engine tarafından değerlendirilir.

Provider Failover

OpenAI down olduğunda trafik otomatik olarak Anthropic veya self-hosted modellere aktarılır.

Safety-based Fallback

Moderation risk eşiğini aşan cevaplar güvenli prompt/model kombinasyonuna veya human review kuyruğuna yönlendirilir.

Policy Örneği

YAML Konfigürasyon

Policy dosyaları GitOps yaklaşımıyla versiyonlanır ve her değişiklik governance onayından geçer.

policies:
  - name: medical-advice
    match:
      useCase: "medical_advice"
      riskLevel: "high"
    route:
      primaryModel: "claude-3-opus"
      fallbackModel: "gpt-4o"
      prompt: "medical_prompt_v5"
    safety:
      requireMedicalReview: true
      maxLatencyMs: 4000
    logging:
      level: "trace"
      piiRedaction: true