본문 바로가기

오픈소스를 위한 기초 상식32

실전 웹 스크래핑 프로젝트 학습자료 이 학습자료는 고급 웹 스크래핑 기술을 활용한 세 가지 실전 프로젝트를 통해 데이터 수집 및 분석 역량을 키우는 데 도움을 줍니다. 각 프로젝트는 단계별로 구성되어 있으며, 실제 활용 가능한 코드와 함께 설명합니다.목차뉴스 포털 데이터 수집기SNS 댓글 분석기쇼핑몰 가격 비교기프로젝트 확장 아이디어1. 뉴스 포털 데이터 수집기프로젝트 개요목표: 주요 뉴스 포털에서 특정 키워드 관련 뉴스 기사를 수집하고 분석기술 스택: Python, Selenium, BeautifulSoup, pandas, SQLite난이도: 중급소요 시간: 약 3-4시간학습 목표동적 웹페이지에서 데이터 수집하기페이지네이션 처리하기수집한 데이터를 구조화하여 저장하기간단한 텍스트 분석 수행하기구현 단계1.1 프로젝트 설정먼저 필요한 라이브.. 2025. 3. 23.
고급 웹 스크래핑 가이드 Selenium 기초1.1 웹드라이버 설정Selenium을 사용하기 위해서는 먼저 웹드라이버를 설정해야 합니다. 최근 Selenium 4부터는 WebDriver Manager를 통해 자동으로 브라우저 드라이버를 설치할 수 있습니다.from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerfrom selenium.webdriver.chrome.options import Options# Chrome 옵션 설정chrome_options = Options()chrome_options.add_argument("--headle.. 2025. 3. 22.
XRDP로 원격 세팅 XRDP 완전 제거 및 재설치 과정1. XRDP 완전 제거먼저 기존 XRDP 패키지와 설정을 완전히 제거합니다:sudo apt-get purge xrdp -ysudo apt-get purge xorgxrdp -ysudo apt-get autoremove -y2. 관련 설정 파일 정리XRDP와 관련된 모든 설정 파일을 삭제합니다:sudo rm -rf /etc/xrdp사용자 홈 디렉토리의 관련 설정 파일도 삭제합니다:rm -f ~/.xsessionrm -f ~/.xsessionrc3. XRDP 및 필요한 패키지 새로 설치sudo apt-get updatesudo apt-get install xrdp -yXFCE4 데스크톱 환경도 설치합니다:sudo apt-get install xfce4 xfce4-goodi.. 2025. 3. 20.
당분간 파이썬? Pandas 관련 정리하기 데이터프레임 기본 조작 데이터 분석에서 Pandas와 시각화 도구는 필수적인 요소입니다. Pandas는 데이터 조작과 분석을 용이하게 하는 라이브러리이며, Matplotlib과 Seaborn을 활용하면 데이터를 효과적으로 시각화할 수 있습니다. 본 문서에서는 Pandas의 주요 기능과 데이터 시각화 방법을 단계별로 설명합니다.데이터 필터링Pandas에서는 다양한 방법으로 데이터를 필터링할 수 있습니다.# 조건을 사용한 필터링df[df['column'] > 5]# 다중 조건 필터링df[(df['column1'] > 5) & (df['column2'] 그룹화와 집계그룹화를 통해 데이터의 통계적 특성을 쉽게 분석할 수 있습니다.# 기본 그룹화df.groupby('column').mean()# 다중 컬럼 그룹화.. 2025. 2. 18.

티스토리툴바