아래 다이어그램은 목업이 아니라, 실제로 이런 인프라 위에서 동작하도록 설계한 구조를 시각화한 것입니다. API 서버(Flask)가 마스터 에이전트 역할을 하며, Foundation·Opensource 모델을 상황에 맞게 선택적으로 호출합니다. KT 업무상 실제 레포지토리는 공개할 수 없어, 인프라·노드 구조와 라우팅 로직만 재현해 보여드립니다.
이 케이스 스터디는 실제 KT 'MYK' (K intelligence) 앱 개발 경험을 일반화해 재구성한 데모입니다 — 출시 기사 보기↗LLM Few-shot · Prompt 엔지니어링으로 응답 품질을 최적화하고, 멀티턴 대화 상황에서의 의도 분류 정확도를 개선했습니다. Opentelemetry로 실시간 발화들을 종합하여 사용자의 의도를 파악하고, 좀 더 유연한 안내를 위해 사용자의 상태 값으로 행동 정책을 분기시켜, 기존 의도분류 대비 만족도 95% 이상을 달성했습니다.
정확도는 KT 기획 비즈니스 요구사항 기준 85% 이상을 목표로, 기획에서 정의한 플로우 노드별 의도 분류가 실제로 일치했는지를 비교해 산출합니다. 예를 들어 "VIP초이스 혜택 알려줘"는 등급별 VIP 혜택이 아니라 별도의 VIP초이스 혜택 의도로 분류되어야 정답 처리되며, 이런 케이스 단위 일치율을 모아 정확도로 환산합니다.
사용자 상태(status_info) · History 메모리 기반 멀티턴 판단 로직을 적용해, 이전 대화 맥락을 반영한 안내 품질을 끌어올렸습니다.
LLM으로 사용자 Query를 재구성하고, 대화 이력과 현재 발화를 비교해 의도를 분류하는 멀티턴 로직을 적용해 정확도를 30% 끌어올렸습니다.