라마인덱스 (LlamaIndex)

라마인덱스 0.10.5 기준 명령어 정리

기본 라마인덱스 사용

!pip install llama-index

import os
os.environ["OPENAI_API_KEY"] = "<OPENAI API키>"

# 폴더에서 데이터 로드
from llama_index.core import SimpleDirectoryReader
documents = SimpleDirectoryReader("data").load_data()

# 문서에서 인덱스 생성
from llama_index.core import VectorStoreIndex
index = VectorStoreIndex.from_documents(documents)

# 인덱스에 문서 삽입
index.insert(document)

# 쿼리엔진 생성, 질의 응답
query_engine = index.as_query_engine()
answer = query_engine.query("<질문>")

# 인덱스 저장
index.storage_context.persist()

# 인덱스 로드
from llama_index.core import StorageContext, load_index_from_storage
storage_context = StorageContext.from_defaults(persist_dir="./storage")
index = load_index_from_storage(storage_context)

인덱스 저장 시 다시 생성할 필요가 없으므로 인덱스 생성에 드는 시간과 비용 줄일 수 있음

인덱스 커스터마이징

from llama_index.core import Settings

# LLM 커스터마이징
from llama_index.llms.openai import OpenAI
Settings.llm = OpenAI(model="gpt-4", temperature=0)

# LLM 입력 최대 토큰 수
Settings.context_window = 1024

# 임베딩 모델 커스터마이징

!pip install llama-index-embeddings-langchain
!pip install sentence-transformers # 허깅페이스 모델 사용 위함

from llama_index.embeddings.langchain import LangchainEmbedding
from langchain.embeddings import HuggingFaceEmbeddings
Settings.embed_model = LangchainEmbedding(
    HuggingFaceEmbeddings(model_name = "<허깅페이스모델>")
)
index = VectorStoreIndex.from_documents(documents)
query_engine = index.as_query_engine()
response = query_engine.query("<질문>")