模型路由與受控存取

挑戰

不同 AI 工具可能依賴不同模型服務。管理這些服務也必須考慮工具如何連線，以及基礎設施周邊的存取邊界。

做法

我在模型基礎設施中使用 LiteLLM 進行模型路由，並運用 Cloudflare Zero Trust 管理相關存取。這些工作將模型服務連結到環境中的開發、研究與自動化流程。

我將模型層視為平台的一部分，兼顧服務營運方式，以及相依工具如何連線使用。

我的貢獻與範疇

這是以現有平台為基礎的整合及基礎設施工作。我將路由與存取元件部署在自己的工作負載周邊，採用其他專案也使用的部署與維運實務。

這項基礎設施支援我持續進行的 AI 實驗與工具。重點是讓周邊系統清楚可控，並能隨工作流程調整。