728x90 반응형 Software78 [웹스크래핑] Selenium(셀레니움) 기본 코드 # 크롬 드라이버 기본 모듈from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.chrome.options import Options# 크롬 드라이버 자동 업데이트을 위한 모듈from webdriver_manager.chrome import ChromeDriverManager# 브라우저 꺼짐 방지 옵션chrome_options = Options()chrome_options.add_experimental_option("detach", True)# 불필요한 에러 메시지 삭제chrome_options.add_experimental_option("excludeSwitches".. 2023. 1. 30. Selenium(셀레니움) 브라우저 꺼짐 현상 from selenium import webdriver from selenium.webdriver.chrome.options import Options # 브라우저 꺼짐 방지 옵션 chrome_options = Options() chrome_options.add_experimental_option("detach", True) driver = webdriver.Chrome(options=chrome_options) # 웹페이지 해당 주소 이동 driver.get("https://www.naver.com") 셀레니움 버전이 업그레이드되면서 기존 버전의 명령어가 적용되지 않는다. 위 코드를 사용하면 브라우저가 더이상 꺼지지 않는다. 아래 링크를 따라가면 최신 기본 셋업을 설정할 수 있다. https://rim.. 2023. 1. 30. [웹스크래핑] Selenium(셀레니움) 셋업 Selenium(셀레니움)이란?웹사이트 자동화 및 테스트를 위한 포터블 프레임워크이다. 자바스크립트를 사용해서 만든 동적 생성 정보를 크롤링/스크래핑할 때 사용한다. 셀레니움으로 어떤걸 할 수 있나?1. 웹페이지 자동로그인2. 메일 자동으로 보내기3. SNS 좋아요 자동으로 누르기등을 할 수 있다. 셀레니움 기본 모듈 설치pip install selenium # 셀레니움 모듈 설치pip install --upgrade pip # pip 최신버전 업그레이드pip install --upgrade selenium # 셀레니움 모듈 최신버전 업그레이드pip install webdriver_manager # 웹드라이버 매니저 설치 웹드라이버 설치크롬 웹드라이버를 사용할 것이므로, 크롬 버전 확인이 필요하다.. 2023. 1. 30. [웹스크래핑] BS4 활용 + CSV 기본 - 네이버 증권 실습 1 : 네이버 증권 웹페이지에서 시가총액 1 ~ 200위 종목과 정보 가져오기 import csvimport requestsfrom bs4 import BeautifulSoupurl = "https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page=" 스크래핑한 정보를 저장하기 위해 csv 모듈을 사용한다. 접근할 url : https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page= url 맨 뒤 page= 다음에 숫자가 오는데 숫자가 빠져있다. 페이지 숫자는 for문을 사용하여 접근할 것이다. 예를 들어,page=1 : 첫 번째 페이지page=2 : 두 번째 페이지 filena.. 2023. 1. 26. [웹스크래핑] Beautifulsoup4 활용 3 - 다음 영화 실습 1 : 최근 5년 역대 관객순위 1 ~ 5위 영화 이미지 가져오기 import requestsfrom bs4 import BeautifulSoupfor year in range(2018, 2023): url = "https://search.daum.net/search?w=tot&q={}%EB%85%84%EC%98%81%ED%99%94%EC%88%9C%EC%9C%84&DA=MOR&rtmaxcoll=MOR".format(year) res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml")...tot&q={}%EB%85%84%EC....format(year) 2018년부터 2022년.. 2023. 1. 24. [웹스크래핑] Beautifulsoup4 활용 2 - 쿠팡 실습 1 : 쿠팡에서 노트북 제품 가져오기 import requestsimport refrom bs4 import BeautifulSoupurl = "https://www.coupang.com/np/search?q=%EB%85%B8%ED%8A%B8%EB%B6%81&channel=user&component=&eventCategory=SRP&trcid=&traid=&sorter=scoreDesc&minPrice=&maxPrice=&priceRange=&filterType=&listSize=36&filter=&isPriceRange=false&brand=&offerCondition=&rating=0&page=1&rocketAll=false&searchIndexingToken=1=6&backgroundColor.. 2023. 1. 24. 이전 1 ··· 7 8 9 10 11 12 13 다음 728x90 반응형
