얕고 넓게

[AI] Ollama + Vector DB 본문

IT/AI.ML

[AI] Ollama + Vector DB

블랙오닉스 2025. 2. 28. 19:26

2025.02.28

좋은 자료는 넘쳐 나는데 이해가 안된다.

https://www.joinc.co.kr/w/ollama-cromadb-rag

 

Llama3와 cromadb를 이용한 RAG 개념 검증

RAG(Retrieval Augmented Generation) 은 생성 기반 모델과 검색 기반 모델의 장점을 결합하여 고품질의 응답을 생성하는 기술이다. RAG의 주요 목표는 전문 도메인 정보를 기반으로 기존의 LLM이 응답하기

www.joinc.co.kr

정리가 정말 잘되어 있다.

일단 문서 로딩, 쪼개기를 따라 하는데 뭔가 없다고 나온다.

일단 비슷한 이름으로 인스톨

ModuleNotFoundError: No module named 'dotenv'
PS C:\> pip install dotenv
PS C:\> pip install langchain
PS C:\> pip install langchain_community

ModuleNotFoundError: No module named 'langchain_openai'
PS C:> pip install langchain_openai
ModuleNotFoundError: No module named 'langchain_pinecone'
PS C:\> pip install langchain_pinecone

    text = f.read()
           ^^^^^^^^
UnicodeDecodeError: 'cp949' codec can't decode byte 0xde in position 366: illegal multibyte sequence

pdf를 바로 못바꾸나?

 

위키독스에

https://wikidocs.net/232104

 

2-2-5-1. PDF 문서 페이지별로 로드 (PyPDFLoader)

### PyPDFLoader 이용하여 PDF 파일 데이터 가져오기 `langchain_community` 패키지에서 제공하는 `PyPDFLoader`를 사용하여 PDF 파일에…

wikidocs.net

 

일단 라이브러리 설치, 그 다음은 chromadb 설치

pip install pypdf
pip install chromadb

 

'IT > AI.ML' 카테고리의 다른 글

[AI] Ollama, Docker 등 자료  (0) 2025.02.12
[AI] Ollama + Dual GPU  (0) 2025.02.10
[AI] 허깅페이스 자료  (0) 2025.01.24
[AI] NLP 용어 정리  (0) 2025.01.24
[AI] Llama 파인튜닝 재도전  (0) 2025.01.23