[Spring AI + Ollama + Rag 도입기] 자동화 창고 챗봇 서비스 구현 ⑤

혼자서 RAG 챗봇을 구현하다보니 다시 본질적인 고찰과 방향성의 의문이 들어서 이 서비스의 목적성을 다시 정리해보고자 한다.

(* WCS/WMS/WES 각기 다른 시스템 레벨로 혼용할 수 있지만, 그냥 WCS를 자동화창고 시스템으로 통칭한다고 하자.)

WCS에서 챗봇 서비스를 쓴다면 왜? 어떤 목적성으로 쓸까?

일찌감치 도입된 대기업의 주요 RAG 기반 챗봇 서비스 유형을 분석해본 뒤 현재 시스템의 Phase I 단계 (데모용) 도입을 위한 개선 방향을 고려해보자.

1. 사례 분석

1-1. 삼성SDS의 첼로스퀘어*Fabrix

① 첼로스퀘어
디지털 포워딩 서비스라고 명명하며, 2024년도 일찌감치 GPT 서비스를 오픈하였다.
물류 리스크 센싱 이라는 키워드를 내세웠다.
결국 물류 리스크를 읽고, 사용자에 걸맞는 정보를 제공하고, 의사결정 지원을 돕는 것이 서비스 활용도인 듯하다.
2025년도 게시글에 따르면 AI Agent로써 실시간 데이터를 수집하고, LLM 기반의 리스크 탐지, 운영대응 등을 지원한다고 한다.

삼성SDS 첼로스퀘어 소개

그 밖에도 다음의 RAG 활용 사례를 찾아볼 수있다.

② 삼성리서치 ‘DeepDive’ (Agentic RAG):

• 보고서 작성 특화 서비스로, 에이전틱 AI와 RAG를 결합해 긴 문서에서 핵심 정보를 신속하게 추출하고, 다중 문서 분석 및 멀티 에이전트 협업을 수행합니다.

③ 삼성물산 건설 부문 입찰 안내서 분석

• 수천~수만 페이지에 달하는 대용량 입찰 문서를 분석하여 스코프, 가격, 기간 등의 리스크와 계약 조건 정보를 정확히 찾아내는 대화형 분석 서비스입니다.

④ 삼성바이오로직스 제조 공정(SOP) 분석

• 복잡한 표와 이미지가 혼재된 제약·바이오 표준작업지침서(SOP) 문서를 벡터 데이터베이스로 변환하여 원하는 정보를 정확하게 검색하고 추출하는 시스템입니다.

⑤ 삼성SDS ‘Brity Copilot’ 사내 지식 검색

• 그룹웨어 내 메일, 문서, 회의록을 통합 검색하고 사내 전문 용어집을 기반으로 한 자동 회의록 생성 및 지식 검색을 지원합니다.

⑤ 삼성SDS Fabrix

• 삼성SDS의 Fabrics는 기업 내부 데이터를 외부로 내보내지 않고도 LLM 활용이 가능하도록 설계됐으며, 업종 특화 용어나 데이터를 학습해 영업·구매·물류·경영지원 등 기업 핵심 업무 시스템에 코파일럿을 구현하는 형태로 적용된다
  삼성SDS Fabrix 소개

1-2. LG CNS의 KeyLook

LG CNS의 RAG 시스템 개발에 포함된 기술로, 사내 R&D 사업부에서 자체 개발한 기술이다. 요약하자면

LG CNS D&A사업부 AI 연구소 언어 AI Lab (이하 ‘AI Lab’) 김영민 총괄은 “기존의 검색 알고리즘 에서는 ‘블록체인 ’을 검색했을 때 블록체인이 정확하게 들어있는 문서만 찾아볼 수가 있었다. 블록체인을 한글로 검색했을 때는 ’Blockchain’이라는 영문 검색어 결과는 찾아오지 못하는 것이 문제였다”며 “동의어 사전 관리 등을 처리해서 해결할 수 있지만 이 작업이 생각보다 공수가 많이 드는 일이었다"라고 설명했습니다.

이러한 문제 해결을 위한 하이브리드 검색 기술이다.

추후 RAG 데이터의 VECTOR 검색 시 검색 정확도 및 퍼포먼스 향상을 시도할 때, 참고해볼만한 기술이다.
물론, LG CNS는 온프레미스 LLM 등 전폭적인 투자와 인프라가 갖춰져서 현재 GPU도 없는 베타버전을 사용 중인 상황에서 도전이다.

LG CNS : 벡터 검색 알고리즘의 도입

1-3. CJ 대한통운의 릿닷(Lit.AI)

CJ대한통운의 사내 생성형 AI 플랫폼인 릿닷AI(Lit.AI)를 통해 기술 관련 질의응답을 받을 수 있다. 전시된 릿닷AI는 CJ대한통운만의 방대한 물류 데이터와 노하우를 학습했다는 것이 특징이다. 센터 레이아웃 설계부터 물류운영 전문상담, 네트워크 운영 현황까지 실시간으로 확인할 수 있다. 이를 활용하여 물류 의사결정 속도 및 생산성을 획기적으로 높일 수 있을 것으로 기대된다.

마찮가지로 전사 데이터를 토대로 의사결정 지원, 리스크 및 현황을 효과적으로 제공하는 걸로 보인다.

CJ대한통운 2026 국제 물류산업대전 리포트

결국 그냥 RAG을 써서 정해진 Rule-Based 양상형 응답만 찍어내는 건 실효성이 없다.. 는건 누구보다 잘 느끼는바이다. 최신 대규모 물류 RAG 시스템 으로 도약하고자 하다면 실시간 관세, 선적 서류, 항만 혼잡도 실시간 반영 + 승인된 사내 물류 문서(B/L, 인보이스) 기반으로 원본 근거 제시 + 에이전틱 AI 연동으로 수 주 걸리던 분석을 수 분~수 일 내 해결 를 달성해야 한다.

2. Phase I. RAG + DB 실시간 조회

DB 실시간 조회 캐파가 생각보다 부족하다.

원인은 우선 설계 문서의 부족 (정확히는 llm이 파악할만한 가독성 부족)과 DB 컬럼별 Coment 부족이라고 고려된다.

2-1. DB 스키마 설계서만 제공된 경우

TYPE 컬럼의 1과 2 데이터가 의미하는 바를 어디에서도 찾을 수 없기에 다음과 같이 응답한다.

2-2. DB 스키마 설계가 제공되고, 컬럼의 Comment를 상세히 작성한 경우

TYPE 컬럼의 COMMENT로 작업구분(1: 입고 2: 출고 3:이동) 이라고 추가하였다.
그러자, 동일한 질문의 답변 퀄리티가 다음과 같이 올라간다.

이제는 TYPE 데이터의 의미도 파악해서 응답을 생성할 수 있게된 것이다.

💡 DB 설계할 때 문서를 잘만들어야함 + DDL Comment 더 상세하게 작성해야 한다.

가령 T_WORK의 TYPE컬럼 이라면 Comment에 ‘작업구분’이라고 쓰는 대신 작업 구분 (1: 입고 2: 출고 3: 이동) 이렇게 기재해야 한다.
** 비단 LLM 가독성을 떠나서 문서의 정형화 디테일을 강화하는 건 좋은 방향으로 보인다.

2-3. Text-To-SQL 보완하기

배달의민족(우아한형제들) — 물어보새

우아한형제들은 RAG + Text-to-SQL + LangChain + LLMOps 기반의 사내 AI 데이터 분석가 '물어보새' 를 개발했다. 목표는 데이터 담당자 없이도 365일 24시간 누구나 자연어로 데이터를 조회할 수 있는 자동화된 데이터 서비스다.

※ Text-To-SQL 정리 레퍼런스 (우아한형제들 기술블로그)

"GPT-4만 활용해서 쿼리문을 생성할 수 있지만, 실제 업무에 활용되기에는 품질이 떨어집니다. 이는 사내 도메인과 데이터 정책에 대한 이해도가 부족하고, 기본적으로 제공되는 retriever의 성능이 떨어져 불필요한 데이터가 포함되기 때문입니다."

• 위와 같이 마찮가지로 디테일한 메타데이터의 구축을 강조한다.
  그냥 DDL을 작성하더라도, 컬럼 하나마다 제약조건, COMMENT, 의미, 범주, 등 상세하게 기술해야하며, 업계, 회사, 프로젝트, 팀 내부에서만 공공연히 쓰는 비즈니스 용어는 최대한 풀거나 범주화하여 관리하는 체계가 필요할 것이다.

➡️ 한 줄로 그냥 정리하자면,,, LLM 모델 성능은 차치하고, 사내 도메인, 산업 특성에 특화되지 않으면 응답 퀄리티는 기대할 수가 없다는 말에 깊이 동감한다.

정적 RAG 데이터 내 벡터 검색 또한 생각보다 부족하다.

그 이유는 다음과 같이 고려해볼 수 있다.

① 이미지가 포함된 PDF를 RAG 데이터로 포함한 경우

e.g ,pdf내 이미지는 ocr이나 visionllm 기술 없이 llm이 처리할 수 없다. (물론 모든 RAG 데이터를 LLM이 처리하기 쉽게 텍스트화 해주는 것 또한 방법으로 볼 수있다.)

② 비즈니스 용어 표준 사전 공유 되지 않은 경우

결국 이 글에서 하고자 하는 요지는..

1. RAG 데이터 처리 고도화를 위해 <OCR, Hybrid Search, TableRag, Re-Ranking, Semantic Chunking> 등의 기술이 필요하며,

2. DB 데이터 처리 고도화를 위해 가장 먼저, 쉽게 시도할 수 있는 것은 메타데이터 강화 주입과 설계 문서 표준화이다.

3. DB 데이터 처리 고도화를 위해 프롬프트, 그중에서도 쿼리 프롬프트 튜닝이 중요하다.

4. 또한,DB 데이터 처리 고도화를 위해 Text-to-SQL 기술력을 향상시키는 것 또한 방법이다. <Few-shot Prompting, Self-correction, Schema Linking> 등이 그 기술이다.

5. 전체 응답의 처리 고도화를 위해서는 프롬프트, 그중에서도 질문 엔진 자체의 프롬프트에서 페르소나 튜닝이 중요하다.

6. 물론 폐쇄망이라면 특히 더, GPU 캐파 또한 중요하긴 하다!

7. 마지막으로 RAGAS 로 성능 측정 등을 통해 내 모델의 캐파를 끊임없이 검증해볼 필요가 있다.
   ** ※ RAGA 측정 지표
   ① Faithfulness → 답변이 Context에 충실한가
   ② Answer Relevancy → 질문과 답변이 관련 있는가
   ③ Context Recall → 필요한 문서를 다 찾았는가
   ④ Context Precision → 찾은 문서가 정확한가

한 가지 드는 궁금증.
가령 현 시점 or 최신의 정보(e.g, 오늘자 글로벌 항만 관련 이슈를 알려줘)라고 질의 했을 때에 폐쇄망의 AI는 어떻게 응답을 생성할 수 있을까?

• 원칙적으로, 폐쇄망 AI는 실시간 외부정보를 알 수 없다.
  폐쇄망 AI가 모르는 것!
  → 오늘자 외부 뉴스
  → 실시간 시장 데이터
  → 학습 cutoff 이후 정보

A. 내부 데이터로 한정 (가장 현실적)

• e,g. "외부 뉴스/이슈는 답변 범위 밖입니다. 내부 실시간 정보와 문서 기반으로만 답변합니다."

B. 내부 데이터 파이프라인으로 실시간 주입(PhaseII- 동적적재)

• e,g. "ERP/MES에서 오늘 입출고 계획 or 실시간 로그 데이터 등"

C. (폐쇄망 아닌 경우) Web Search 연동
but,,, 공장은 기본적으로 폐쇄망이기에 Web Search 가 불가능함.

사실 제조,건설,물류 산업은 망분리 환경, 보안 규제, 데이터 거버넌스 측면에서 더 엄격해지는 고민이 있기에 LLM이 가장 느리게 적용되는 분야이기도 하다. 재고와 생산 정보 데이터, 기술 문서를 폐쇄망이 아닌 곳에서 운영할 수가 없는 상태이다. 즉 폐쇄망 WCS RAG 챗봇은 여전히 초기단계라고 할 수 있다.

국내 대기업(LG CNS, 삼성SDS, CJ 대한통운, 쿠팡 등)에서 WCS와 연동되는 RAG Assistant가 있는지 더 찾아볼 필요가 있다.

다시 방향성을 잡아보면, 내가 이식할 폐쇄망 RAG Assistant의 사용자는 "오늘자 글로벌 시황" 보다는 "내일 출고를 위해 재고재배치를 하면 어떻게 해야할까?" 라던가, "최근 1달간 에러 발생이 가장 많은 스태커크레인 호기를 알려줘" 와 같은 질의를 해결하기 위한 목적성을 가진다고 가정.

추후 외부망이 되면 그때 Tool Calling으롱 외부 데이터 확장하면 됨