데이터수집 (2) 썸네일형 리스트형 [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #4 (fin) - 관광상품 리뷰 데이터 크롤링 및 분석 프로젝트 메타코드M '웹 크롤링 기초 강의'의 마지막 시간이다. 이번에는 크롤링으로 데이터를 수집하는 것뿐만 아니라 분석과 시각화까지 진행하고자 한다. ※ 이전글: 2024.03.29 - [Python/Web Crawling] - [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #3 - 기차표 티켓팅 프로젝트 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr Index 4강. 관광상품 리뷰 데이터 크롤링 프로젝트 사이트 규정 & 페이지 구조 파악, 동적 페이지 데이터 크롤링 하나투어의 데이터를 크롤링하기 위해 robots.txt를 확인했다. [베스트] 카테고리에서 주간 베스트 중 일본으로 국가를 선택해 가장 첫번째에 있는 여행.. [빅데이터 분석기사 필기] 1과목 - 빅데이터 분석 기획 (3/3) 이전 글 : 2022.08.03 - [데이터/빅데이터분석기사] - [빅데이터 분석기사 필기] 1과목 - 빅데이터 분석 기획 #2 지난 포스트에서는 어떻게 빅데이터 분석에 대한 전체적인 계획을 수립했다. 이번에는 데이터 수집 및 저장 계획을 어떻게 수립해야 하는지 배워보겠다. 이 글은 데이터에듀에서 발행한 '빅데이터 분석기사 필기' 교재의 146~178페이지에 해당하는 내용을 참고하였다. ※ 출처가 있는 이미지를 클릭하면 원 사이트로 접속된다. Index 2. 데이터 수집 및 저장 계획 1) 데이터 수집 및 전환 (1) 데이터 수집 및 전환 빅데이터 수집 기법 : Log Aggregator, 크롤링, 스크래핑 (자동으로 웹 사이트의 특정 정보 추출), Open API, RSS 등 정형 데이터 : ETL (.. 이전 1 다음
