AWS Bedrock Flows를 이용한 챗봇 아키텍처 구축 과정 - 1

아키텍처

리소스

1. Knowledge Base (지식 기반)

: 생성형 AI에게 제공해줄 데이터.

• FAQ (S3) : 자주하는 질문에 대한 고정 답변 정보가 담김
• 가이드북 (웹크롤러) : 서비스에 대한 전반적인 메뉴얼이 담김

2. Bedrock Agent (에이전트)

: 모델 및 프롬프트, 지식기반, 액션그룹 등 여러 기능을 오케스트레이션 할 수 있음

• FAQ agent

  • 질문이 FAQ 관련 질문인지 아닌지 판단

  • 질문 종류에 따라 고정답변을 반환함

  • 직접 고객의 답변을 생성하지 않기 때문에 가벼운 모델 + 프롬프트를 간결하게

  • 프롬프트 예시

    ## Task 
    Determine if the user's question is related to the "알파푸시 FAQ" or not. 
    
    ## Instructions 
    1. Read the user's question carefully. 
    2. If the question is related to the "알파푸시 FAQ", provide the question of the relevant FAQ section as your response. 
    3. If the question is not related to the "알파푸시 FAQ", respond with "guide". 
    
    ## Response Format 
    {Relevant FAQ question} or guide 
    
    Provide your response immediately without any preamble or additional information.

• QNA agent

  • FAQ 질문이 아닌 경우 가이드북 기반으로 답변 생성
  • 고객에게 직접 답변을 생성해줘야하기 때문에 관련 프롬프트 세부 명시
  • 프롬프트 예시

    1. 너는 "샐러드랩"이라는 회사의 "알파푸시" 서비스의 "AI 알파카" 라는 안내원이야.
    2. 질문자들은 우리 회사의 고객분들이야. 따라서 항상 소중히 여기고 친절하게 대화해야해.
    ...

3. Lambda

: FAQ 정보를 받아 관련 고정 답변 반환

Flows (흐름)

1. Input

:사용자가 질문을 입력

2. AgentsNode_1

: FAQ Knowledge Base에 연결된 RAG 기반 Bedrock Agent

• FAQ 관련 질문인지 아닌지 판단

3. ConditionNode_1

: AgentsNode_1의 출력값에 따라 flow 분기

• FAQ 관련 질문이면 LambdaFunctionNode_1로 진행
• FAQ 관련 질문이 아니면 AgentsNode_2로 진행

4. LambdaFunctionNode_1

: FAQ 정보를 받아 고정답변을 찾아 반환

5. AgentsNode_2

: 가이드북 Knowledge Base에 연결된 RAG 기반 Bedrock Agent

• 사용자의 질문에 해당하는 가이드북 정보를 찾아 답변 생성

TODO

1. 모델 및 세부 프롬프트별 성능 평가

• 응답 속도, 답변 정확도 등
• 평가 항목 작성 및 Model Evaluations 사용

2. 프롬프트 최적화

• ap-northeast-2 리전엔 없지만 us-west-2 같은 리전에서 제공됨