AiRWARDS 공군 GPT의 RAG 지식 베이스와 Langfuse 사용 로그를 연결한 React/FastAPI 기반 LLMOps Dashboard입니다. 운영자는 Qdrant에 어떤 지식이 쌓였는지, 어떤 지식이 답변 생성에 쓰였는지, 파이프라인과 관리자 작업이 어디까지 진행됐는지 한 화면에서 확인합니다.
문서를 적재한 뒤에도 운영자는 지식베이스의 현재 상태를 바로 알기 어려웠습니다. 문서 수와 카테고리 분포는 DB와 스토리지에, 검색 사용량은 Langfuse에, 파이프라인 상태는 Airflow에 흩어져 있었습니다.
문제가 난 파일을 찾은 뒤에도 메타데이터 수정, 재업로드, 삭제가 별도 절차로 갈라졌습니다. AiRWARDS Dashboard는 이 끊긴 지점을 한 운영 화면에서 확인하고 조치하도록 만든 대시보드입니다.
Qdrant, MongoDB, MinIO를 따로 열어야 문서 수, 카테고리, 최근 적재 파일을 파악할 수 있었다.
질의 수, 응답시간, category usage, RAG context가 Langfuse 로그 뒤에 숨어 운영 판단이 느렸다.
잘못된 메타데이터나 파일을 찾은 뒤 수정, 재업로드, 삭제가 관리자 화면과 이어지지 않았다.
초기 화면은 GET /api/dashboard/bootstrap 응답 하나로 구성됩니다. 백엔드는 MongoDB의 dashboard bootstrap snapshot을 먼저 읽고, 갱신이 필요할 때 Qdrant, Langfuse, Airflow, MinIO를 다시 조회해 새 스냅샷을 만듭니다.
청크 벡터 · category facet · count · PCA
metadata · dashboard snapshot · usage cache
질의량 · 응답시간 · RAG context wordcloud
DAG 상태 · pipeline health
업로드 원본 파일 · PDF 조회
GET /api/dashboard/bootstrap
snapshot first · refresh on demand · component errors
KPI · chart · map · traffic · pipeline
upload · search · update · delete
대시보드는 전체 문서 수, 전체 데이터량, 월간 질의 수, 활성 사용자, 평균 응답시간을 상단 KPI로 보여줍니다. 아래로는 카테고리 분포, 적재 성장 추이, 최근 데이터, category usage, traffic trend, pipeline 상태가 이어집니다.
Qdrant 벡터는 PCA로 2차원 축소해 지식 분포를 보여주고, Langfuse observations에서 추출한 RAG context는 워드클라우드와 category usage로 변환했습니다. 운영자는 보유 데이터의 구조와 실제 답변 생성에 쓰인 지식을 나란히 봅니다.
관리자 화면은 네 개의 탭으로 구성됩니다. 운영자는 카테고리와 parser type을 고르고 파일을 업로드하며, 파일명을 검색해 parent/leaf 노드 구조와 PDF를 확인합니다. 잘못된 데이터는 메타데이터 수정, 재업로드, 삭제로 정리합니다.
구현의 핵심은 화면을 예쁘게 보여주는 데서 끝나지 않았습니다. 대시보드 요청마다 모든 외부 소스를 훑지 않도록 MongoDB snapshot을 기준으로 두고, 필요한 경우에만 refresh합니다. 실패한 컴포넌트는 missing과 componentErrors로 화면에 전달합니다.
전체 벡터 스캔 없이 카테고리 분포, 최근 데이터, 총 문서 수 갱신
지식 공간 시각화처럼 벡터가 필요한 영역에만 조회 비용 사용
실제 답변 생성에 쓰인 RAG context를 운영 지표로 전환
화면 응답 안정화, 외부 서비스 장애 시 degraded 상태 관리
stats, summary, wordcloud, network graph 영역별 갱신
pack, unpack, version update, Qdrant index 적용 문서까지 관리
이 프로젝트를 통해 AiRWARDS의 RAG 파이프라인은 적재와 검색 단계에서 멈추지 않고, 지식 보유 현황, 실제 사용 로그, 파이프라인 상태, 관리자 수정 작업까지 이어지는 운영 체계를 갖췄습니다.
Qdrant와 MongoDB를 직접 만지지 않는 파일 상태 확인과 수정
Langfuse 로그를 category usage와 RAG context로 연결
인트라넷 반입, 오프라인 의존성, 인덱스 적용, 배포 문서까지 포함