재원's 블로그

https://kr.freepik.com/free-vector/the-year-2024-the-year-of-the-dragon-vector-red-round-greeting-symbol-with-snowflakes_59993112.htm#query=2024%EB%85%84%20%EC%9A%A9%EC%9D%98%20%ED%95%B4&position=33&from_view=keyword&track=ais_user&uuid=f1ecfcd6-10ec-4a72-8602-599993c0649e">작가 callmetak 출처 Freepik

빅데이터 분석기사 시험을 당장 이번 달부터 시작하게 되었습니다. 원래는 'SQLD'를 준비하다가 '빅데이터' 분야에 현역으로 계셨던 분의 조언으로 경로를 변경하게 되었습니다. 그렇지만 경로를 변경하기 전부터 가입해서 공부에 도움이 되는 자료를 내려받기도 하고 궁금한 것이 생기면 질문도 했던 네이버 카페 '데이터 전문가 포럼' 의 도움을 계속 받을 예정(?) 이어서 앞으로 걱정은 좀 덜 되는 것 같습니다.^^ 시험 일정과 검정수수료(응시료)를 알아보니 다음과 같았습니다. 어찌됐든 이왕 준비하는 시험 반드시 합격하겠습니다. (아자! 아자! 나는 할 수 있다!! 파이팅!!^^) 아! 그리고 '빅데이터 분석기사' 나 데이터 관련 자격증 일정이 궁금하시면 ..

안녕하세요. 원래는 'Git Hub'에 블로그를 운영하다가 2023년 1월 20일 부터 'tistory'로 이사를 오게 되었습니다. 언제나 유익한 글 게시할테니 많은 분들의 관심 부탁드립니다.^^

최초 작성일 : 2021-01-08 categories:Python 오늘은 국토교통부 - KRic(철도통계) 여기에 들어가서 '도시철도여객수송'의 데이터를 크롤링 해서 가져 오고 'DataFream' 형태로도 만드는 실습을 했다. 아래는 코드와 실행 화면들이다. 1. 스크래핑 요청 import requests url = "http://www.kric.go.kr/jsp/industry/rss/citystapassList.jsp?q_org_cd=A010010021&q_fdate=2021" html_text = requests.get(url).text print(html_text) 홈페이지에 있는 내용을 그대로 가져왔다. 2. Parsing from bs4 import Beauti..

최초 작성일 : 2022-01-03 categories: Python 크롤링 1.크롤링 : BeautifulSoup 설치 beautifulsoup 설치는 --> 여기에서 시작 terminal에 위의 명령어 입력 BeautifulSoup 설치 되었는지 한번 더 확인 from bs4 import BeautifulSoup print("library imported") terminal에 library imported가 print 된다. 2. 크롤링 코드 3-1. 객체 초기화 def main(): #객체 초기화, 뒤에있는 parser가 핵심: python에서 접근 가능하게 만들어줌 soup = BeautifulSoup(open("data/index.html"), "html.parser") print(soup) i..

최초 작성일 : 2021-12-17 categories:Python Machine Learning # ---- 데이터 불러오기 ---- library(ggplot2) # 시각화 코드 # install.packages("dplyr") # install.packages("tidyr") library(dplyr) # 데이터 가공 library(reshape) # 데이터 가공 % select(-1) # raw_reviews % select(-1) glimpse(raw_reviews) colnames(raw_reviews) 상품의 대분류 정보 # ---- 데이터 전처리 ---- # 결측치 확인 colSums(is.na(raw_reviews)) table(raw_reviews$Age) age_group = cut(..

최초 작성일 : 2021-12-24 categories:Python Machine Learning 어제에 이어서 'pipeline 만들기' 실습을 진행하였다. ML Pipeline 학습 곡선 그리기 데이터 불러오기, 훈련세트 분리, pipeline 설계 등 import pandas as pd from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split from sklearn.model_selection import StratifiedKFold import numpy as np from sklearn.linear_model import LogisticRegression fro..

최초 작성일 : 2021-12-23 categories:Python Machine Learning ml(머신 러닝)에서 'pipeline'라는 것을 만들어 사용 할 수 있는데 오늘은 여기에 대해 알아보고 직접 만드는 코드로 실습을 해봤다. ML(머신러닝) PipeLine 기본편 데이터 불러오기 import pandas as pd data_url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/wdbc.data' column_name = ['id', 'diagnosis', 'radius_mean', 'texture_mean&#..