Python/Web Crawling (4) 썸네일형 리스트형 [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #4 (fin) - 관광상품 리뷰 데이터 크롤링 및 분석 프로젝트 메타코드M '웹 크롤링 기초 강의'의 마지막 시간이다. 이번에는 크롤링으로 데이터를 수집하는 것뿐만 아니라 분석과 시각화까지 진행하고자 한다. ※ 이전글: 2024.03.29 - [Python/Web Crawling] - [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #3 - 기차표 티켓팅 프로젝트 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr Index 4강. 관광상품 리뷰 데이터 크롤링 프로젝트 사이트 규정 & 페이지 구조 파악, 동적 페이지 데이터 크롤링 하나투어의 데이터를 크롤링하기 위해 robots.txt를 확인했다. [베스트] 카테고리에서 주간 베스트 중 일본으로 국가를 선택해 가장 첫번째에 있는 여행.. [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #3 - 기차표 티켓팅 프로젝트 이번 메타코드M 강의에서는 크롤링으로 '예매 가능한 기차표 찾기 프로젝트'를 해보고자 한다. 대략적인 흐름은 코레일 사이트에서 특정 일자를 지정해서 데이터를 가져오고, 해당일의 가장 이른 시간에 출발하는 티켓의 URL을 가져오는 것이다. ※ 이전글: 2024.03.27 - [Python/Web Crawling] - [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #2 - 뉴스 크롤링 자동화 프로젝트 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr Index 3강. 예매 가능한 기차표 찾기 프로젝트 사이트 규정 및 페이지 구조 파악 & 표 데이터 크롤링 코레일의 열차 데이터를 활용한다. 다만 크롤링을 진행하기 앞서, .. [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #2 - 뉴스 크롤링 자동화 프로젝트 지난 메타코드 강의에서는 크롤링을 하기 위한 기초 이론을 공부했다. 이번 글에서는 크롤링으로 뉴스 기사를 가져오고 이를 자동화하는 프로젝트를 해보고자 한다. 강의는 주피터와 VSCODE를 쓰지만 필자는 Colab으로 코딩을 하고 보다 최신의 데이터를 가져오기 때문에 차이가 있을 수 있다 (강의 24년 2월, 블로그 24년 3월 데이터 활용). ※ 이전글: 2024.03.26 - [Python/Web Crawling] - [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #1 - 크롤링 필수 이론 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr Index 2강. 뉴스 크롤링 자동화 프로젝트 Beautifulsoup 활용.. [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #1 - 크롤링 필수 이론 웹 크롤링은 데이터를 수집하는 대표적인 방법이다. 데이터를 확보하는 것이 특정 단체에 속하거나 대회에 나가지 않는 이상 쉽지 않으므로 메타코드M '웹 크롤링 기초 강의'에서 그 방법을 익히고자 수강하게 되었다. 강의에서도 밝히듯이 엄밀히 말하면, 웹 스크래핑이라고 해야 하지만 통상적으로 웹 크롤링을 스크래핑처럼 쓰는 사람들이 많기에 웹 크롤링이라고 칭함을 일러둔다. 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr 또 본 강의는 생초보자를 대상으로 하는 강의가 아니다. Python 환경 세팅 (VSCODE, Jupyter )이나 기초 실습을 강사의 다른 수업 (공공데이터 분석)에서 경험했다고 상정하고 진행한다. 필자는 G.. 이전 1 다음
