Python (21) 썸네일형 리스트형 [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #4 (fin) - 관광상품 리뷰 데이터 크롤링 및 분석 프로젝트 메타코드M '웹 크롤링 기초 강의'의 마지막 시간이다. 이번에는 크롤링으로 데이터를 수집하는 것뿐만 아니라 분석과 시각화까지 진행하고자 한다. ※ 이전글: 2024.03.29 - [Python/Web Crawling] - [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #3 - 기차표 티켓팅 프로젝트 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr Index 4강. 관광상품 리뷰 데이터 크롤링 프로젝트 사이트 규정 & 페이지 구조 파악, 동적 페이지 데이터 크롤링 하나투어의 데이터를 크롤링하기 위해 robots.txt를 확인했다. [베스트] 카테고리에서 주간 베스트 중 일본으로 국가를 선택해 가장 첫번째에 있는 여행.. [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #3 - 기차표 티켓팅 프로젝트 이번 메타코드M 강의에서는 크롤링으로 '예매 가능한 기차표 찾기 프로젝트'를 해보고자 한다. 대략적인 흐름은 코레일 사이트에서 특정 일자를 지정해서 데이터를 가져오고, 해당일의 가장 이른 시간에 출발하는 티켓의 URL을 가져오는 것이다. ※ 이전글: 2024.03.27 - [Python/Web Crawling] - [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #2 - 뉴스 크롤링 자동화 프로젝트 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr Index 3강. 예매 가능한 기차표 찾기 프로젝트 사이트 규정 및 페이지 구조 파악 & 표 데이터 크롤링 코레일의 열차 데이터를 활용한다. 다만 크롤링을 진행하기 앞서, .. [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #2 - 뉴스 크롤링 자동화 프로젝트 지난 메타코드 강의에서는 크롤링을 하기 위한 기초 이론을 공부했다. 이번 글에서는 크롤링으로 뉴스 기사를 가져오고 이를 자동화하는 프로젝트를 해보고자 한다. 강의는 주피터와 VSCODE를 쓰지만 필자는 Colab으로 코딩을 하고 보다 최신의 데이터를 가져오기 때문에 차이가 있을 수 있다 (강의 24년 2월, 블로그 24년 3월 데이터 활용). ※ 이전글: 2024.03.26 - [Python/Web Crawling] - [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #1 - 크롤링 필수 이론 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr Index 2강. 뉴스 크롤링 자동화 프로젝트 Beautifulsoup 활용.. [데이터 수집] 메타코드M '웹 크롤링 기초 강의' #1 - 크롤링 필수 이론 웹 크롤링은 데이터를 수집하는 대표적인 방법이다. 데이터를 확보하는 것이 특정 단체에 속하거나 대회에 나가지 않는 이상 쉽지 않으므로 메타코드M '웹 크롤링 기초 강의'에서 그 방법을 익히고자 수강하게 되었다. 강의에서도 밝히듯이 엄밀히 말하면, 웹 스크래핑이라고 해야 하지만 통상적으로 웹 크롤링을 스크래핑처럼 쓰는 사람들이 많기에 웹 크롤링이라고 칭함을 일러둔다. 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr 또 본 강의는 생초보자를 대상으로 하는 강의가 아니다. Python 환경 세팅 (VSCODE, Jupyter )이나 기초 실습을 강사의 다른 수업 (공공데이터 분석)에서 경험했다고 상정하고 진행한다. 필자는 G.. [데이터 분석] 메타코드M '파이썬 입문 데이터분석 프로젝트 만들기' 강의 후기 (3/3) 메타코드M의 '파이썬 입문 데이터분석 프로젝트 만들기' 강의에 관한 마지막 글이다. 첫번째로 파이썬 문법과 데이터 전처리, 두번째로 데이터 시각화를 다루었다. 이번 글에서는 EDA와 지표 정의를 학습할 것이다. 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr ※ 첫번째 글: 2024.02.08 - [Python] - [데이터 분석] 메타코드M '파이썬 입문 데이터분석 프로젝트 만들기' 강의 후기 (1/3) ※ 두번째 글: 2024.02.08 - [Python] - [데이터 분석] 메타코드M '파이썬 입문 데이터분석 프로젝트 만들기' 강의 후기 (2/3) Index 파이썬 데이터 분석 프로젝트 #3 각 지표에 대해 배운 .. [데이터 분석] 메타코드M '파이썬 입문 데이터분석 프로젝트 만들기' 강의 후기 (2/3) 메타코드M의 '파이썬 입문 데이터분석 프로젝트 만들기' 강의에 대한 두번째 글이다. 이전 포스트에서는 파이썬 기초 문법과 데이터 전처리를 학습했다. 이번에는 데이터 시각화에 대해 공부할 것이다. 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr ※ 이전글: 2024.02.08 - [Python] - [데이터 분석] 메타코드M '파이썬 입문 데이터분석 프로젝트 만들기' 강의 후기 (1/3) Index 파이썬 데이터 분석 프로젝트 #2 주로 matplotlib나 seaborn 라이브러리를 사용해 시각화를 해왔는데 plotly.express라는 새로운 라이브러리를 import하여 여러 기능을 확인할 수 있어 참신했다. 데이터 .. [데이터 분석] 메타코드M '파이썬 입문 데이터분석 프로젝트 만들기' 강의 후기 (1/3) 이번 글은 메타코드M의 '파이썬 입문 데이터분석 프로젝트' 영상을 보고 정리한 것이다. '현실과 동떨어진 이론은 가치가 없다'고 생각하기에 공부하는 것에 그치는 것이 아니라 실전에 활용할 수 있도록 역량을 키우는 것이 중요하다고 여긴다. 그래서 파이썬으로 분석 프로젝트를 직접 해보는 이 영상이 마음에 들었다. 본 강의에 관심이 있는 독자는 아래의 링크를 클릭하여 상세한 정보를 확인하면 된다. 메타코드M 빅데이터 , AI 강의 플랫폼 & IT 현직자 모임 플랫폼ㅣ메타코드 커뮤니티 일원이 되시기 바랍니다. mcode.co.kr 강의는 colab으로 진행되는데 필요한 자료는 구글 드라이브 (링크)에서 가져올 수 있다. Index 파이썬 데이터 분석 프로젝트 #1 이 강의는 5개의 섹션으로 나누어져 있는데 기초.. [Python] 텔레그램 봇 메시지 발송 (ChatGPT의 코딩 실력은?) 이전 글 : 2023.02.19 - [Python/SNS BOT] - [Python] 텔레그램 봇 생성 및 메시지 송신 이전 글에서는 Python으로 코드를 짜서 텔레그램 봇으로 메시지를 보내는 기능을 구현하였다. 이번에는 텔레그램 봇으로 메시지를 보내는 것은 동일하되 정해진 시간마다 메시지를 보내는 기능을 추가하고자 한다. Index 1. Python 코드 필자는 텔레그램 봇으로 각 시간마다 'plz'와 'test'라는 메시지가 보내지도록 코드를 짜서 Visual Studio Code로 실행해보았다. import telegram, time import aioschedule as sch import asyncio as asy bot = telegram.Bot(token='유저토큰') chat_id = 채.. 이전 1 2 3 다음
