Today I Learned (2024-09-08)목차Today I Learned (2024-09-08)오늘 공부한 내용1. 머신러닝하이퍼 파라미터 튜닝 기법 이해하기주요 하이퍼 파라미터 튜닝 기법하이퍼 파라미터 튜닝 적용하기(SVC, Support Vector Classifier)RandomizedSearchCV + SVC2. SQL기본적인 SQL 예제 문제 풀기3. 메타코드 이커머스 데이터분석데이터 분석가란?데이터 분석가 역량 및 업무 FLOW역향 준비SQL어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. 머신러닝하이퍼 파라미터 튜닝 기법 이해하기하이퍼 파라미터 튜닝하이퍼 파라미터란(Hyper Parameter)?모델 생성 시, 사용자가 직접 입력하는 변수하이퍼 파라미터와 파라미터의 ..

Today I Learned (2024-09-03)목차Today I Learned (2024-09-03)오늘 공부한 내용1. KDT (DL)딥러닝 개념딥러닝 모델 구축 단계통계모델/머신러닝/딥러닝 비교표이미지 데이터 처리2. 머신러닝교차 검증(Cross Validation)Holdout Cross ValidationK-fold Cross Validationsklearn 의 Cross Validation & K-fold 사용법3. Pandas & BigqueryBigquery 쿼리문제 풀기어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (DL)딥러닝 개념입력층, 은닉층, 출력층입력층데이터를 받아들이는 역할은닉층입력 데이터를 처리하여 패턴을 학습. 은닉층의 개수가 많을수록 모델은 더..

Today I Learned (2024-08-26)목차Today I Learned (2024-08-26)오늘 공부한 내용1. KDT (ML)머신러닝 모델 만들기2. 머신러닝 입문타이타닉 데이터 EDA어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. KDT (ML)머신러닝 모델 만들기Random Forest Regression 사용만료 일자 예측하기2. 머신러닝 입문타이타닉 데이터 EDAEDAhead(), tail(), 각 feature 의미 확인다섯 수치 요약(5 number summary) 확인최소값(minium), 제1사분위수, 제2사분위수, 제3사분위수, 최대값(maximum) 확인하기데이터프레임.describe()EDA 에서는 사분위수를 사용Q1:제1사분위수 (25%에 해당하는 값..

Today I Learned (2024-08-16)목차Today I Learned (2024-08-16)오늘 공부한 내용1. 인프런(공공데이터 분석하기)정규식으로 마스킹 처리하기crosstab 으로 범주형 데이터 연산2. 분석 용어 공부어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. 인프런(공공데이터 분석하기)정규식으로 마스킹 처리하기자동차, 이메일을 정규식을 이용해서 마스킹 처리crosstab 으로 범주형 데이터 연산범주형 데이터를 연산하기 위해 pandas 의 crosstab 함수를 이용함2. 분석 용어 공부범주란?범주형 데이터와 연속형 데이터의 차이어려웠던 내용딱히 없었던 것 같다.궁금한 내용과 부족한 내용pandas pivot-table 과 crosstab 의 차이느낀 점갈 길이..

범주(Category)란 무엇인가서론데이터 분석 공부를 시작하고 범주라는 말을 참 많이 들었다...하지만 아직 "범주가 뭐야?"라고 물으면 대답을 하지 못하는 상황이다. 큰일이군.그래서 이를 해결하고자 전지전능하신 GPT를 이용해 범주란 무엇인가에 대한 글을 작성한다.What's 범주?범주란 데이터를 특정 기준에 따라 나눌 수 있는 그룹을 의미한다.데이터는 여러 가지 특성을 가질 수 있는데, 이 특성에 따라 데이터를 묶어서 관리하면 분석이 훨씬 수월해진다고 한다.예를 들어, '색깔', '종류', '지역' 같은 것이 범주가 될 수 있다.예시예를 들어, 고객 데이터를 분석한다고 생각해보자.고객 데이터에는 여러 가지 정보가 있을 수 있다. 예를 들어, 고객의 성별, 나이, 거주지, 구매 이력 등이 있다.여기서..

범주형 데이터와 연속형 데이터의 차이데이터 분석과 통계에서는 데이터를 이해하고 분석하기 위해 여러 가지 유형으로 분류한다.이 중에서 가장 기본적인 두 가지 데이터 유형은 범주형 데이터(Categorical Data) 와 연속형 데이터(Continuous Data) 이다.범주형 데이터 (Categorical Data)범주형 데이터는 데이터가 특정 범주 또는 그룹으로 구분되는 데이터를 의미한다.이러한 데이터는 고정된 수의 범주를 가지고 있다. 주로 텍스트 또는 숫자로 표현되지만, 이 숫자는 순서나 크기를 의미하지 않는다.예시성별(남성, 여성), 색상(빨강, 파랑, 초록), 지역(서울, 부산, 대구)특징범주형 데이터는 순서가 없는 명복형 데이터와 순서가 있는 순서형 데이터로 구분될 수 있다.명목형 데이터순서가..

Today I Learned (2024-08-16)목차Today I Learned (2024-08-16)오늘 공부한 내용1. 인프런(공공데이터분석하기)정규 표현식으로 데이터 전처리 하기어려웠던 내용궁금한 내용과 부족한 내용느낀 점오늘 공부한 내용1. 인프런(공공데이터분석하기)정규 표현식으로 데이터 전처리 하기정규 표현식 라이브러리파이썬 내장 라이브러리이다.import redef get_string(text): if pd.isna(text): return text text = re.sub("[\d\.'\-(nan)\[\]\/]","",text) text = re.sub(" ","",text) text = re.sub(",{2,}","",text) text = re.sub("\+",",",..

Today I Learned (2024-08-02)목차Today I Learned (2024-08-02)오늘 공부한 내용1. KDTGit, Github, HTML2. 인프런공공데이터로 파이썬 데이터 분석 시작하기어려웠던 내용궁금한 내용과 부족한 내용느낀점오늘 공부한 내용1. KDTGit, Github, HTMLGit깃이 무언인가?깃 설치하기깃 커맨드 사용하기Github깃허브 회원가입깃 저장소 만들기깃 커밋, 푸쉬, 풀깃 브랜치 만들기HTML대표적인 태그들 확인하기h 태그p 태그a href 태그2. 인프런공공데이터로 파이썬 데이터 분석 시작하기pandasmelt : 데이터의 형태를 변경할 수 있다. 참고예시 코드아래와 같은 데이터의 형태를 melt 를 이용하면 바꿀 수 있다.df_first_melt = d..