Today I Learned (2024-08-17)목차Today I Learned (2024-08-17)오늘 공부한 내용1. 인프런(공공데이터 활용하기)정규표현식 - 전화번호 일부 마스킹 처리2. 데이터 과학을 위한 통계(도서)Chapter 01. 탐색적 분석어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. 인프런(공공데이터 활용하기)정규표현식 - 전화번호 일부 마스킹 처리정규표현식을 이용해 전화번호 일부를 마스킹 처리한다.02-1-67010-**-89+82-10-**-78함수 만들기def mask_phone_number(phone): # 결측치가 있다면 그대로 반환 if pd.isna(phone): return phone # 번호를 - 기준으로 자른다. num = pho..

데이터 분석에서 데이터 전처리 과정 (Data Preprocessing)목차데이터 분석에서 데이터 전처리 과정 (Data Preprocessing)데이터 전처리란?데이터 전치리 순서1. 데이터 수집2. 데이터 정제3. 데이터 변환4. 데이터 통합5. 데이터 축소데이터 전처리란?데이터 분석에서 데이터 전처리는 매우 중요한 단계이다.데이터 전처리는 원시 데이터를 분석 가능한 형태로 변환하는 과정으로, 데이터의 품질을 높이고 분석 결과의 정확성을 보장하는 데 필수이다.데이터 전치리 순서1. 데이터 수집데이터 전처리의 첫 단계는 데이터를 수집하는 것이다.데이터는 다양한 출처에서 수집될 수 있으며, 일반적으로 다음과 같은 형태로 존재한다.데이터베이스(DB)CSV 파일(.csv)JSON 파일(.json)웹에서 스크..

텍스트 마이닝대통령 연설문 텍스트 마이닝 Doit! 쉡게 배우는 파이썬 데이터 분석 (도서)텍스트 마이닝이란?문자로 된 데이터에서 가치 있는 정보를 얻어 내는 분석 기법이다.형태소 분리텍스트 마이닝을 할 때 가장 먼저 하는 작업이다.문장을 구성하는 어저들이 어떤 품사인지 파악하는 것.품사 : 명서, 대명사, 수사, 관형사, 부사, 감탄사, 조사, 서술격조사, 동사, 형용사 [참고]어절 : 띄어쓰기대로 여러 글자씩 [참고]프로젝트 세팅하기01. KoNLPy 패키지 설치하기자바 가 설치되어 있어야 사용할 수 있다.[MAC 한국어 자연어처리 KoNLPy 설치]M1칩 Mac에서 KoNLPy 한국어 처리 파이썬 패키지 설치하기02. 의존성 패키지란?어떤 패키지는 다른 패키지의 기능을 이용하기 때문에 다른 패키지를..

Today I Learned (2024-07-24) 🤔목차오늘 공부한 내용 🧑🏻‍💻1. Doit 쉽게 배우는 파이썬 데이터 분석산점도(scatter plot)선 그래프(line plot)상자 그림(box plot)막대 그래프(bar plot)2. KDT (분포형 데이터, 범주형 데이터, 기타 데이터 시각화)분포형 데이터Hist PlotKDE PlotHistplot 과 kdeplot 같이 사용하기Rug PlotDisplot범주형 데이터(Categorical Data)Bar PlotCount PlotBox PlotViolin Plot기타 시각화HeatmapPair PlotPie Chart어려웠던 내용 📚궁금한 내용과 부족한 내용 🙋🏻느낀 점 💡오늘 공부한 내용 🧑🏻‍💻1. Doit 쉽게 ..