Today I Learned (2024-11-02)목차Today I Learned (2024-11-02)오늘 공부한 내용1. ADsP2. LangChainStructedOutputParserJsonOutputParserPandasDataFrameOutputParserDatetimeOutputParserEnumOutputParser어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. ADsP문제 풀기아답터 영상 보고 다시 공부하기내일 시험..2. LangChainStructedOutputParserStructuredOutputParser는 LLM에 대한 답변을 dict 형식으로 구성하고, key/value 쌍으로 여러 필드를 반환하고자 할 때 유용하게 사용할 수 있다.JsonOutputPars..

Today I Learned (2024-11-01)목차Today I Learned (2024-11-01)오늘 공부한 내용1. 이력서 & 면접 특강2. ADsP3. LangChainCommaSeparatedListOutputParser어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. 이력서 & 면접 특강모의 면접과 이력서 특강이 있었다.🐕같이 멸망...2. ADsP문제 풀기3. LangChainCommaSeparatedListOutputParser쉼표로 구분된 항목 목록을 반환할 필요가 있을 때 유용한 출력 파서어려웠던 내용면접.. 모의면접 궁금한 내용과 부족한 내용면접느낀 점면접 hard -->

Today I Learned (2024-10-31)목차Today I Learned (2024-10-31)오늘 공부한 내용1. KDT (PySpark/DE)2. ADsP3. LangChainPydanticOutputParser어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (PySpark/DE)PySpark 시험DE 시험손코딩 시험...2. ADsP문제 풀기3. LangChainPydanticOutputParserPydanticPython 에서 가장 널리 사용되는 데이터 유효성 검사 라이브러리PydanticOutputParser언어 모델의 출력을 좀 더 구조화된 정보로 변환하는데 도움이 되는 클래스get_format_instructions() : 언어 모델이 출력해야 할 정보의 형..

Today I Learned (2024-10-30)목차Today I Learned (2024-10-30)오늘 공부한 내용1. KDT (PySpark)2. ADsP3. LangChainPage 분할 및 파일 업로드어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (PySpark)colab에서 pyspark를 설치하고 pyspark sql을 진행함.기존 sql과 많이 유사했다.pyspark는 hadoop의 단점을 보완했다고 한다.메모리 위에서 작업하기 때문에 속도 매우 빠르다고 한다.하지만 체감이 될만큼 큰 데이터를 다루지 않았기 때문에 그걸 느끼진 못했다.2. ADsP문제풀기3. LangChainPage 분할 및 파일 업로드streamlit 에서 pages 폴더만들어서 새로운 페이지..

Today I Learned (2024-10-29)목차Today I Learned (2024-10-12)오늘 공부한 내용1. KDT (DataEngineering)데이터 파이프라인 구축2. ADsP3. LangChain프롬프트 메이커어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (DataEngineering)데이터 파이프라인 구축E.T.L을 통해 데이터 파이프라인을 구축하였다.2. ADsP문제 풀기3. LangChain프롬프트 메이커특정 태스크를 입력 후, 내가 프롬프트를 작성하면 태스크에 알맞는 프롬프트를 다시 작성해준다.어려웠던 내용데이터 파이프라인 구축복잡복잡궁금한 내용과 부족한 내용랭체인 랭체인느낀 점바쁘다 바빠 현대사회.. -->

LangChain을 이용한 RAG 프로세스 구현LangChain을 활용하여 RAG 프로세스를 구현하는 방법을 단계별로 설명함. LangChain 라이브러리와 함께 다양한 모듈과 메서드를 이용해 문서 로드, 분할, 임베딩 생성, 검색, 프롬프트 및 모델 생성 등의 과정이 포함됨.1. 문서 로드 (Load)LangChain의 PyMuPDFLoader를 이용하여 PDF 파일과 같은 문서를 로드함. 이 모듈을 사용하면 다양한 형식의 문서를 쉽게 불러올 수 있음.from langchain_community.document_loaders import PyMuPDFLoader# PDF 문서 로드 예시loader = PyMuPDFLoader("sample.pdf")documents = loader.load()2. 분할..

Today I Learned (2024-10-28)목차Today I Learned (2024-10-28)오늘 공부한 내용1. KDT (Data Engineering)E.T.L 구현2. ADsP3. LangChainRAG 프로세스 이해하기어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (Data Engineering)E.T.L 구현파이썬으로 간단히 DB에 접속 후 추출, 변환, 로드하였습니다.2. ADsP문제풀기3. LangChainRAG 프로세스 이해하기RAG 프로세스문서 로드(Load)문서(pdf, word), RAW DATA, 웹페이지, Notion 등의 데이터를 읽기분할(Split)불러온 문서를 chunk 단위로 분할임베딩(Embedding)문서를 벡터 표현으로 변환벡터DB..

Today I Learned (2024-07-12)목차Today I Learned (2024-07-12)오늘 공부한 내용1. ADsP2. FastAPI3. LangChainLangChain HubFewShotPromptTemplate어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. ADsP문제 풀기2. FastAPI토이 프로젝트 개발중에 예전에 배웠지만 다시 학습함.잘 써먹으면 좋겠다.내가 작성한 글 - FastAPI 사용하기3. LangChainLangChain HubLangChain Hub 사이트해당 사이트에 작성된 프롬프트들을 가져와서 사용할 수 있다.잘 작성된 프롬프트를 가져다 쓸 수 있는 장점이 있다.from langchain import hub# 이미 만들어진 프롬프트 불러오기..