본문 바로가기

Python42

여러 페이지 크롤링 자동화 - BeautifulSoup vs Selenium 완전 비교 0. 이 글은 무엇을 위한 글인가요?뉴스, 쇼핑몰, 블로그처럼 페이지가 여러 개인 데이터를 반복해서 수집하고 싶어요!페이지를 넘기며 자동으로 크롤링하는 방법이 궁금해요.Selenium과 BeautifulSoup 중 뭘 써야 할까요?이 글에서는 동일한 크롤링 작업을 BeautifulSoup과 Selenium으로 나눠서 비교하며 설명합니다.1. 분석 대상: 네이버 뉴스 랭킹 (연예 뉴스)URL : https://m.entertain.naver.com/ranking관찰 결과: li.NewsItem_news_item__fhEmd, a.NewsItem_link_news__tD7x3 태그에 있목표: 10개의 기사 제목과 링크 수집방법 1: BeautifulSoup로 반복 크롤링import requestsfrom b.. 2025. 3. 31.
Python Selenium으로 동적 웹페이지 크롤링 완전 정복 (기초편) 0. 이 글은 무엇을 위한 글인가요?requests로는 안 보이던 데이터를 크롤링하고 싶은 분자바스크립트로 로딩되는 웹페이지도 수집하고 싶은 분Selenium으로 브라우저 자동 제어를 해보고 싶은 분Selenium은 사람처럼 웹사이트를 조작하며 데이터를 수집할 수 있는 도구입니다.1. Selenium이란?웹 브라우저를 자동으로 실행하고, 검색하고, 클릭할 수 있는 도구무한 스크롤, 로그인 필요, 동적 콘텐츠 크롤링에 적합2. 설치 및 준비2-1. 패키지 설치pip install selenium2-2. ChromeDriver 설치크롬 주소창에 chrome://settings/help 입력하여 버전 확인아래 사이트에서 같은 버전의 ChromeDriver 다운로드 https://chromedriver.chro.. 2025. 3. 30.
Python으로 웹 크롤링 시작하기 - BeautifulSoup 완전 입문 0. 이 글은 누구를 위한 글인가요?인터넷에서 표, 제목, 가격 등 정보를 자동으로 수집하고 싶어요!BeautifulSoup? 뭔지 모르겠어요. 처음부터 알려주세요.Python으로 뉴스 제목이나 날씨 정보를 가져오고 싶어요.가장 쉬운 예제로 웹에서 데이터를 추출하는 법을 알려드립니다.1. 웹 크롤링이란?웹사이트의 HTML 구조를 분석해 원하는 데이터를 자동 수집하는 작업입니다.BeautifulSoup + requests 조합으로 가장 많이 사용됩니다.뉴스 제목, 쇼핑몰 가격, 리뷰 등 다양한 정보 수집 가능!2. 필요한 도구 설치pip install requests beautifulsoup4라이브러리설명requests웹사이트 HTML 요청/다운로드beautifulsoup4HTML 파싱 및 원하는 태그 찾.. 2025. 3. 29.
외부 CSV 파일 불러오기부터 분석, 저장까지 실전 예제 완전 정복 0. 이 글은 무엇을 위한 글인가요?CSV 파일을 불러와서 정리하고 싶다!정리된 데이터를 분석하고 시각화해보고 싶다!결과를 다시 파일로 저장하고 싶다!이번 글에서는 실제 실무처럼 파일 불러오기 → 분석 → 저장 흐름을 실습합니다.1. 분석 시나리오: 학생 성적 데이터데이터: 학생 이름, 국어, 영어, 수학 점수목표: 평균 계산, 최고점 확인, 시각화 및 저장2. 가상의 CSV 파일 준비하기메모장을 열고 아래 내용 복사students.csv로 저장 (인코딩: UTF-8)이름,국어,영어,수학김민지,82,91,78이준호,90,85,88박지우,74,79,92최수연,88,87,85정우진,95,94,89한예린,67,75,803. CSV 파일 불러오기import pandas as pddf = pd.read_csv('.. 2025. 3. 28.
실제 데이터 분석 프로젝트 시작하기 - 인구수 & 평균소득 분석 (기초 예제) 0. 이 글은 무엇을 위한 글인가요?실제 데이터를 분석하려면 뭘 먼저 해야 하죠?데이터를 어디서 구하고, 어떻게 처리하고, 무엇을 보면 되나요?지금까지 배운 Pandas & 시각화 기초를 실제로 적용해보고 싶어요!이 글에서는 가상의 데이터를 이용해 실제 분석 흐름을 익히는 입문 프로젝트를 진행합니다.1. 프로젝트 개요목표: 도시별 인구수, 평균소득 데이터를 분석해 인사이트 얻기분석 질문:도시별 인구는 얼마나 다를까?소득이 높은 도시가 인구도 많은가?어떤 도시가 상대적으로 소득 대비 인구가 많은가?2. 데이터 수집 (예제 생성)import pandas as pddata = { '도시': ['서울', '부산', '대구', '인천', '광주', '대전', '울산'], '인구수(만명)': [973, .. 2025. 3. 27.
Pandas + Matplotlib & Seaborn으로 데이터 시각화 완전 입문! 0. 이 글은 누구를 위한 글인가요?엑셀처럼 Python에서도 그래프 그릴 수 있나요?숫자만 보면 감이 안 와요… 시각화 하고 싶어요!matplotlib? seaborn? 뭔가 무섭게 생겼어요…처음 그래프를 그리는 분들을 위해 아주 쉽고 자세히 설명드릴게요!1. 시각화 라이브러리 소개라이브러리설명Matplotlib가장 기본이 되는 그래프 도구, 세밀한 설정 가능SeabornMatplotlib을 더 보기 좋게 꾸며주는 도구, 사용도 간편2. 설치 방법pip install matplotlib seaborn2-1. [중요] 한글 깨짐 해결 방법그래프 제목, 축 이름, 범례 등에서 한글이 깨지거나 물음표(??)로 보일 수 있습니다.윈도우 사용자import matplotlib.pyplot as pltplt.rcP.. 2025. 3. 26.