[TIL] 2024-10-28 (ADsP/DataEngineering/LangChain)

Today I Learned (2024-10-28)

---

목차

• Today I Learned (2024-10-28)
• 오늘 공부한 내용
  • 1. KDT (Data Engineering)
    • E.T.L 구현
  • 2. ADsP
  • 3. LangChain
    • RAG 프로세스 이해하기
• 어려웠던 내용
• 궁금한 내용과 부족한 내용
• 느낀 점

---

오늘 공부한 내용

1. KDT (Data Engineering)

E.T.L 구현

• 파이썬으로 간단히 DB에 접속 후 추출, 변환, 로드하였습니다.

2. ADsP

• 문제풀기

3. LangChain

RAG 프로세스 이해하기

• RAG 프로세스
  1. 문서 로드(Load)
     • 문서(pdf, word), RAW DATA, 웹페이지, Notion 등의 데이터를 읽기
  2. 분할(Split)
     • 불러온 문서를 chunk 단위로 분할
  3. 임베딩(Embedding)
     • 문서를 벡터 표현으로 변환
  4. 벡터DB(VectorStore)
     • 변환된 벡터를 DB에 저장
  5. 검색(Retrieval)
     • 유사도 검색(similarity, mmr), Multi-Query, Multi-Retriever
  6. 프롬프트(Prompt)
     • 검색된 결과를 바탕으로 원하는 결과를 도출하기 위한 프롬프트
  7. 모델(LLM)
     • 모델 선택(GPT, Claude, Ollama, etc)
  8. 결과(Output)
     • 텍스트, JSON, 마크다운 ...

---

어려웠던 내용

• 데이터 엔지니어링 코딩...

---

궁금한 내용과 부족한 내용

• 랭체인의 고도화

---

느낀 점

• 이게 맞나?