LLM 프롬프트 캐싱 개념 정리 (Prompt Caching)
같은 프롬프트를 매번 다시 처리하지 않도록 캐시하는 프롬프트 캐싱의 전략과 동작 원리, 비용 구조를 정리했다.
같은 프롬프트를 매번 다시 처리하지 않도록 캐시하는 프롬프트 캐싱의 전략과 동작 원리, 비용 구조를 정리했다.
Teams 알람에 봇을 멘션하면 전문 에이전트들이 원인을 분석해 응답하는 RCA 워크플로우 설계.
운영 로그 분석에 LLM을 붙일 때 비용과 정확도를 같이 잡기 위한 2단계 구조를 구상했다.
사내 Atlassian을 MCP로 열면서 사용자별 권한을 그대로 지키는 전사 모델을 설계했다.
MCP 서버의 쓰기·읽기 도구 한도를 부하 테스트로 측정하며 만난 nginx body limit과 base64 33% 팽창 문제를 정리했다.
CLI 코딩 에이전트 세 개를 역할별로 나눠 한 팀처럼 구성해 봤다. 워크트리 격리와 세션 복구까지 함께 정리했다.
사내 Teams AI 어시스턴트를 n8n·RAG·멀티 에이전트로 일주일에 구축한 기록이다.
Gemini에서 Foundry로 옮기며 앞단 게이트웨이가 없어 사내 LLM 게이트웨이를 직접 만든 과정을 정리했다.