LLM 프롬프트 캐싱 개념 정리 (Prompt Caching)
같은 프롬프트를 매번 다시 처리하지 않도록 캐시하는 프롬프트 캐싱의 전략과 동작 원리, 비용 구조를 정리했다.
AI 플랫폼
Azure AI Foundry 앞단에 사내 LLM Gateway 구축
Gemini에서 Foundry로 옮기며 앞단 게이트웨이가 없어 사내 LLM 게이트웨이를 직접 만든 과정을 정리했다.
같은 프롬프트를 매번 다시 처리하지 않도록 캐시하는 프롬프트 캐싱의 전략과 동작 원리, 비용 구조를 정리했다.
Gemini에서 Foundry로 옮기며 앞단 게이트웨이가 없어 사내 LLM 게이트웨이를 직접 만든 과정을 정리했다.