재원's 블로그

최초 작성일 : 2021-01-08 categories:Python 오늘은 국토교통부 - KRic(철도통계) 여기에 들어가서 '도시철도여객수송'의 데이터를 크롤링 해서 가져 오고 'DataFream' 형태로도 만드는 실습을 했다. 아래는 코드와 실행 화면들이다. 1. 스크래핑 요청 import requests url = "http://www.kric.go.kr/jsp/industry/rss/citystapassList.jsp?q_org_cd=A010010021&q_fdate=2021" html_text = requests.get(url).text print(html_text) 홈페이지에 있는 내용을 그대로 가져왔다. 2. Parsing from bs4 import Beauti..

최초 작성일 : 2022-01-03 categories: Python 크롤링 1.크롤링 : BeautifulSoup 설치 beautifulsoup 설치는 --> 여기에서 시작 terminal에 위의 명령어 입력 BeautifulSoup 설치 되었는지 한번 더 확인 from bs4 import BeautifulSoup print("library imported") terminal에 library imported가 print 된다. 2. 크롤링 코드 3-1. 객체 초기화 def main(): #객체 초기화, 뒤에있는 parser가 핵심: python에서 접근 가능하게 만들어줌 soup = BeautifulSoup(open("data/index.html"), "html.parser") print(soup) i..

최초 작성일 : 2022-01-07 categories: Python 오늘은 어제에 이어서 크롤링 실습을 했다. 어제는 '직접 사이트 주소 가져오기', 'API를 사용해서 주소 가져오기'를 진행했다면 오늘은 직접 사이트의 상태를 알아보고, 주소를 가져와서 링크를 설정해주는 실습을 했다. 아래는 실습 코드와 실행화면들이다. 먼저 패키지를 설치 한다. pip install requests import requests def main(): url = "https://www.naver.com/11111" req = requests.get(url) # 상태 코드 확인 print("현재 상태:", req.status_code) # text # print(req.text) print("l..

최초 작성일 : 2021-12-07 categories:Python 오늘은 파이썬의 함수를 만들어서 사용하는 법(def), 자료형의 종류 등 그리고 'docstring'의 사용법과 'Decorator'에 대해 알아보았다. # /c/ProgramData/Anaconda3/python # -*- coding: utf-8 -*- # 함수를 객체로 사용하는 방식 # function as variable def my_fun(): print("안녕") if __name__ == "__main__": x = my_fun print(type(x)) print(x()) print_function = print print(print_function("파이썬 좋음")) "C:\Program Fi..

최초 작성일 : 2021-12-22 categories:Python Missing Value : 결측치 확인 data loading import pandas as pd covidtotals = pd.read_csv("../input/covid-data/covidtotals.csv") covidtotals.head() data info covidtotals.info() data division ● 인구통계 관련 column ● Covid 관련 column case_vars = ["location", "total_cases", "total_deaths", "total_cases_pm", "total_deaths_pm"] demo_vars = ["population", "pop_density", "median..

최초 작성일 : 2021-12-21 categories:Python -Missing Value : 결측치 1. 정의 : 1. Missing Feature(누락 data) 를 처리 해주어야 ML이 잘 돌아 간다. 2. Na, Nan 과 같은 값 2. 종류 : 1. Random : 패턴이 없는 무작위 값 2. No Random : 패턴을 가진 결측치 Deletion ● deletion해서 특성이 바뀌지 않는다면, 가장 좋은 방법 ○ dropna() ○ axis = (0 : 행 제거, default),(1: 열제거) ○ subset = (특정 feature을 지정하여 해당 누락 data 제거) ● Listwist(목록삭제) ○ 결측치가 있는 행 전부 삭제 ● pairwise(단일 값 삭제) df = df.dr..

최초 작성일 : 2021-12-21 categories:Python python을 활용해 'restaurant,order' 와 'covid' 데이터를 이용해서 '이상치 찾기' 를 실습 해 보았다. # /c/Program Files/Anaconda3/python/envs/python-test # -*- conding: utf-8 -*- class Comments: title = "#### %s 레스토랑에 오신걸 환영합니다. ####" product_description = "%s:%s(%s원)" insert_price = "\n요금을 넣어 주세요. : " insufficient_price = "%s 요금이 부족합니다. 거스름돈은 %s원 입니다." select_me..

최초 작성일 : 2021-12-10 categories:Python 결정 트리에 대해 알아보고, 직접 코딩 실습도 해 보았다. 결정 트리(Decision Tree) 는 머신러닝 알고리즘 중 직관적이고 이해하기 쉬운 알고리즘이다. 쉽게 생각하면 '스무 고개'이다. 위 사진을 보면 강조된 부분이 보인다. 저 부분이 계속 반복 되어 만들어지면 질 수록 정확도는 떨어지게 된다. 그래서 '높은 예측 정확도'를 가지려면 최대한 많은 데이터 세트가 해당 분류에 속할 수 있도록 결정 노드의 규칙이 정해져야 한다. 이를 위해서는 '어떻게 트리를 분할 할 것인가'를 생각해야 한다. 아래는 오늘 '구글 코랩'에서 실습한 내용들이다. ● 정보 이득이 높은 속성을 기준으..