[TIL] 2024-10-30 (ADsP/LangChain/PySpark)

Today I Learned (2024-10-30)

---

목차

• Today I Learned (2024-10-30)
• 오늘 공부한 내용
  • 1. KDT (PySpark)
  • 2. ADsP
  • 3. LangChain
    • Page 분할 및 파일 업로드
• 어려웠던 내용
• 궁금한 내용과 부족한 내용
• 느낀 점

---

오늘 공부한 내용

1. KDT (PySpark)

• colab에서 pyspark를 설치하고 pyspark sql을 진행함.
• 기존 sql과 많이 유사했다.
• pyspark는 hadoop의 단점을 보완했다고 한다.
• 메모리 위에서 작업하기 때문에 속도 매우 빠르다고 한다.
• 하지만 체감이 될만큼 큰 데이터를 다루지 않았기 때문에 그걸 느끼진 못했다.

2. ADsP

• 문제풀기

3. LangChain

Page 분할 및 파일 업로드

• streamlit 에서 pages 폴더만들어서 새로운 페이지를 보여줌
• 파일(pdf)업로드 기능 추가함
• 업로드 되면 RAG 기본 프로세스가 실행된다.
  • 문서 로드
  • 분할
  • 임베딩
  • 벡터DB 생성
  • 검색기(retriever) 생성
  • 프롬프트 생성
  • LLM 생성
  • 체인 생성

---

어려웠던 내용

• PySpark 오늘 내용이 너무 많았다.
• 선생님 진도가 너무 빨라요...

---

궁금한 내용과 부족한 내용

• 랭체인 활용

---

느낀 점

• 열심히 열심히 더 열심히