본문 바로가기

전체 글64

감성분석(Sentiment Analysis) 기초 프로젝트 - 긍정 vs 부정 분류하기 0. 이 글은 누구를 위한 글인가요?블로그/뉴스 제목이 긍정적인지 부정적인지 구분하고 싶으신 분간단한 감성분석 모델을 직접 적용해보고 싶은 분수집한 텍스트 데이터를 분류해서 인사이트를 얻고 싶은 분1. 프로젝트 개요데이터: 블로그/뉴스에서 수집한 제목 텍스트 (CSV 파일)목표: 각 제목이 긍정/부정/중립인지 분류도구: transformers 라이브러리의 사전학습 모델 (KoELECTRA)2. 필요한 라이브러리 설치pip install transformers torch pandas tqdm3. 감성분석용 사전학습 모델 준비beomi/KcELECTRA-base 모델 사용 - 한국어 뉴스/댓글 기반 학습4. 데이터 불러오기import pandas as pddf = pd.read_csv("인공지능_블로그_필터.. 2025. 4. 4.
크롤링 데이터로 텍스트 분석 & 워드클라우드 시각화 프로젝트 0. 이 글은 누구를 위한 글인가요?크롤링한 뉴스/블로그 데이터를 텍스트 분석에 활용하고 싶어요.자주 등장하는 키워드를 자동으로 추출해서 시각화해보고 싶어요.워드클라우드 예쁘게 만드는 방법을 알고 싶어요!1. 준비 데이터: 블로그 크롤링 결과 CSV이전 글에서 저장한 인공지능_블로그_필터링결과.csv 파일 사용2. 필요한 라이브러리 설치pip install pandas matplotlib wordcloud konlpy3. 데이터 불러오기import pandas as pddf = pd.read_csv('인공지능_블로그_필터링결과.csv')print(df.head())출력 예시제목 링크 날짜0 美 주가지수 선물 장전 급락 흐름과 엔비디아 주가 (ft. 중국 '딥시크'발 2차인... https://blog.n.. 2025. 4. 3.
네이버 블로그·카페 크롤링 + 키워드 & 날짜 필터링 자동화 0. 이 글은 누구를 위한 글인가요?블로그나 카페에서 특정 키워드가 들어간 글만 모으고 싶으신 분2024년 이후에 쓴 글만 자동으로 필터링하고 싶으신 분검색 결과를 반복해서 모으고 정리하고 저장하고 싶은 분1. 프로젝트 목표사이트: 네이버 통합 검색목표:블로그 탭에서 "인공지능" 키워드 검색1~3페이지 정도 스크포스트 제목 + 링크 + 날짜 수집특정 키워드 필터링(AI, 챗GPT)2024년 이후 글만 필터링CSV로 저장2. 필요한 패키지 설치pip install selenium beautifulsoup4 pandas3. 크롬드라이버 준비크롬드라이버 다운로드 링크본인의 크롬 브라우저 버전에 맞는 드라이버를 다운받고 .py 파일과 같은 폴더에 위치시킵니다.4. 전체 코드 예제 (블로그 크롤링)from sel.. 2025. 4. 2.
키워드 기반 뉴스 크롤링 자동화 프로젝트 (Selenium + BeautifulSoup) 0. 이 글은 무엇을 위한 글인가요?특정 키워드로 뉴스나 블로그를 자동 수집하고 싶어요!검색어 입력하고, 여러 페이지 넘기고, 제목+링크를 가져오고 싶어요.Selenium과 BeautifulSoup을 활용해 완전 자동화하고 싶어요.이 글에서는 네이버 뉴스 검색에서 키워드로 뉴스 제목과 링크를 자동 수집하는 실전 프로젝트를 진행합니다.1. 목표 및 시나리오사이트: 네이버 통합검색목표:키워드 입력 (예: "인공지능")뉴스 탭 이동1~5페이지까지 뉴스 제목 + 링크 수집DataFrame 정리 + CSV 저장2. 필요한 라이브러리 설치pip install selenium beautifulsoup4 pandas그리고 ChromeDriver 다운로드 및 설치도 필요합니다.3. 전체 코드 흐름Selenium으로 검색.. 2025. 4. 1.
여러 페이지 크롤링 자동화 - BeautifulSoup vs Selenium 완전 비교 0. 이 글은 무엇을 위한 글인가요?뉴스, 쇼핑몰, 블로그처럼 페이지가 여러 개인 데이터를 반복해서 수집하고 싶어요!페이지를 넘기며 자동으로 크롤링하는 방법이 궁금해요.Selenium과 BeautifulSoup 중 뭘 써야 할까요?이 글에서는 동일한 크롤링 작업을 BeautifulSoup과 Selenium으로 나눠서 비교하며 설명합니다.1. 분석 대상: 네이버 뉴스 랭킹 (연예 뉴스)URL : https://m.entertain.naver.com/ranking관찰 결과: li.NewsItem_news_item__fhEmd, a.NewsItem_link_news__tD7x3 태그에 있목표: 10개의 기사 제목과 링크 수집방법 1: BeautifulSoup로 반복 크롤링import requestsfrom b.. 2025. 3. 31.
Python Selenium으로 동적 웹페이지 크롤링 완전 정복 (기초편) 0. 이 글은 무엇을 위한 글인가요?requests로는 안 보이던 데이터를 크롤링하고 싶은 분자바스크립트로 로딩되는 웹페이지도 수집하고 싶은 분Selenium으로 브라우저 자동 제어를 해보고 싶은 분Selenium은 사람처럼 웹사이트를 조작하며 데이터를 수집할 수 있는 도구입니다.1. Selenium이란?웹 브라우저를 자동으로 실행하고, 검색하고, 클릭할 수 있는 도구무한 스크롤, 로그인 필요, 동적 콘텐츠 크롤링에 적합2. 설치 및 준비2-1. 패키지 설치pip install selenium2-2. ChromeDriver 설치크롬 주소창에 chrome://settings/help 입력하여 버전 확인아래 사이트에서 같은 버전의 ChromeDriver 다운로드 https://chromedriver.chro.. 2025. 3. 30.

티스토리툴바