Today I Learned (2024-10-31)목차Today I Learned (2024-10-31)오늘 공부한 내용1. KDT (PySpark/DE)2. ADsP3. LangChainPydanticOutputParser어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (PySpark/DE)PySpark 시험DE 시험손코딩 시험...2. ADsP문제 풀기3. LangChainPydanticOutputParserPydanticPython 에서 가장 널리 사용되는 데이터 유효성 검사 라이브러리PydanticOutputParser언어 모델의 출력을 좀 더 구조화된 정보로 변환하는데 도움이 되는 클래스get_format_instructions() : 언어 모델이 출력해야 할 정보의 형..

Today I Learned (2024-10-30)목차Today I Learned (2024-10-30)오늘 공부한 내용1. KDT (PySpark)2. ADsP3. LangChainPage 분할 및 파일 업로드어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (PySpark)colab에서 pyspark를 설치하고 pyspark sql을 진행함.기존 sql과 많이 유사했다.pyspark는 hadoop의 단점을 보완했다고 한다.메모리 위에서 작업하기 때문에 속도 매우 빠르다고 한다.하지만 체감이 될만큼 큰 데이터를 다루지 않았기 때문에 그걸 느끼진 못했다.2. ADsP문제풀기3. LangChainPage 분할 및 파일 업로드streamlit 에서 pages 폴더만들어서 새로운 페이지..

Today I Learned (2024-10-29)목차Today I Learned (2024-10-12)오늘 공부한 내용1. KDT (DataEngineering)데이터 파이프라인 구축2. ADsP3. LangChain프롬프트 메이커어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (DataEngineering)데이터 파이프라인 구축E.T.L을 통해 데이터 파이프라인을 구축하였다.2. ADsP문제 풀기3. LangChain프롬프트 메이커특정 태스크를 입력 후, 내가 프롬프트를 작성하면 태스크에 알맞는 프롬프트를 다시 작성해준다.어려웠던 내용데이터 파이프라인 구축복잡복잡궁금한 내용과 부족한 내용랭체인 랭체인느낀 점바쁘다 바빠 현대사회.. -->

Today I Learned (2024-10-28)목차Today I Learned (2024-10-28)오늘 공부한 내용1. KDT (Data Engineering)E.T.L 구현2. ADsP3. LangChainRAG 프로세스 이해하기어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (Data Engineering)E.T.L 구현파이썬으로 간단히 DB에 접속 후 추출, 변환, 로드하였습니다.2. ADsP문제풀기3. LangChainRAG 프로세스 이해하기RAG 프로세스문서 로드(Load)문서(pdf, word), RAW DATA, 웹페이지, Notion 등의 데이터를 읽기분할(Split)불러온 문서를 chunk 단위로 분할임베딩(Embedding)문서를 벡터 표현으로 변환벡터DB..

Today I Learned (2024-07-12)목차Today I Learned (2024-07-12)오늘 공부한 내용1. ADsP2. FastAPI3. LangChainLangChain HubFewShotPromptTemplate어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. ADsP문제 풀기2. FastAPI토이 프로젝트 개발중에 예전에 배웠지만 다시 학습함.잘 써먹으면 좋겠다.내가 작성한 글 - FastAPI 사용하기3. LangChainLangChain HubLangChain Hub 사이트해당 사이트에 작성된 프롬프트들을 가져와서 사용할 수 있다.잘 작성된 프롬프트를 가져다 쓸 수 있는 장점이 있다.from langchain import hub# 이미 만들어진 프롬프트 불러오기..

Today I Learned (2024-10-26)목차Today I Learned (2024-10-26)오늘 공부한 내용1. ADsP (문제풀기)2. LangChainChatPromptTemplateMessagePlaceHolder어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. ADsP (문제풀기)기출문제 37, 38 ,39회 풀기변형 문제 1, 2, 3, 4회 풀기 2. LangChainChatPromptTemplate대화목록을 프롬프트로 주입하고자 할 때 활용메시지는 튜플(tuple) 형태로 구성하며, (role, message)로 구성하여 리스트로 생성system : 시스템 설정 메시지. 주로 전역설정과 관련된 프롬프트 (임무 부여), 대화 전체에 적용human : 사용자 입력 메..

Today I Learned (2024-10-25)목차Today I Learned (2024-10-25)오늘 공부한 내용1. KDT (Postgresql)2. ADsP어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (Postgresql)ORM(Sqlalchemy)Postgresql 설치파이썬 연동dbeaver 연동2. ADsP연습문제 풀기어려웠던 내용mac postgresql 설치궁금한 내용과 부족한 내용수업을 듣지는 못해서 실습을 따라하기만 했다.느낀 점다음주는 열심히 수업듣자. -->

Today I Learned (2024-10-24)목차Today I Learned (2024-10-24)오늘 공부한 내용1. KDT (AWS)AWS 아키텍처 설계해보기2. ADsP3. LangChainRunnable Parallel / LambdaPrompt Template어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (AWS)AWS 아키텍처 설계해보기간단하게 AWS 아케틱처를 설계해봤습니다. 간단하게 설명하자면 ec2, streamlit, s3, lambda, rds 를 이용하였습니다.2. ADsP연습문제 풀기3. LangChainRunnable Parallel / LambdaRunnable Parallel이 인스턴스는 여러 Runnable 인스턴스를 병렬로 실행할 수 ..