728x90 반응형 Python/크롤링&스크래핑12 [웹스크래핑] Selenium(셀레니움) 기본 코드 # 크롬 드라이버 기본 모듈 from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options # 크롬 드라이버 자동 업데이트을 위한 모듈 from webdriver_manager.chrome import ChromeDriverManager # 브라우저 꺼짐 방지 옵션 chrome_options = Options() chrome_options.add_experimental_option("detach", True) # 불필요한 에러 메시지 삭제 chrome_options.add_experimental_option("exclud.. 2023. 1. 30. [웹스크래핑] Selenium(셀레니움) 셋업 Selenium(셀레니움)이란? 웹사이트 자동화 및 테스트를 위한 포터블 프레임워크이다. 자바스크립트를 사용해서 만든 동적 생성 정보를 크롤링/스크래핑할 때 사용한다. 셀레니움으로 어떤걸 할 수 있나? 1. 웹페이지 자동로그인 2. 메일 자동으로 보내기 3. SNS 좋아요 자동으로 누르기 등을 할 수 있다. 셀레니움 기본 모듈 설치 pip install selenium # 셀레니움 모듈 설치 pip install --upgrade pip # pip 최신버전 업그레이드 pip install --upgrade selenium # 셀레니움 모듈 최신버전 업그레이드 pip install webdriver_manager # 웹드라이버 매니저 설치 웹드라이버 설치 크롬 웹드라이버를 사용할 것이므로, 크롬 버전 확인.. 2023. 1. 30. [웹스크래핑] BS4 활용 + CSV 기본 - 네이버 증권 실습 1 : 네이버 증권 웹페이지에서 시가총액 1 ~ 200위 종목과 정보 가져오기 import csv import requests from bs4 import BeautifulSoup url = "https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page=" 스크래핑한 정보를 저장하기 위해 csv 모듈을 사용한다. 접근할 url : https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page= url 맨 뒤 page= 다음에 숫자가 오는데 숫자가 빠져있다. 페이지 숫자는 for문을 사용하여 접근할 것이다. 예를 들어, page=1 : 첫 번째 페이지 page=2 : 두 번째 페이지 filenam.. 2023. 1. 26. [웹스크래핑] Beautifulsoup4 활용 3 - 다음 영화 실습 1 : 최근 5년 역대 관객순위 1 ~ 5위 영화 이미지 가져오기 import requests from bs4 import BeautifulSoup for year in range(2018, 2023): url = "https://search.daum.net/search?w=tot&q={}%EB%85%84%EC%98%81%ED%99%94%EC%88%9C%EC%9C%84&DA=MOR&rtmaxcoll=MOR".format(year) res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") ...tot&q={}%EB%85%84%EC....format(year) 2018년부터 2022년까지 총 5개의 url를.. 2023. 1. 24. [웹스크래핑] Beautifulsoup4 활용 2 - 쿠팡 실습 1 : 쿠팡에서 노트북 제품 가져오기 import requests import re from bs4 import BeautifulSoup url = "https://www.coupang.com/np/search?q=%EB%85%B8%ED%8A%B8%EB%B6%81&channel=user&component=&eventCategory=SRP&trcid=&traid=&sorter=scoreDesc&minPrice=&maxPrice=&priceRange=&filterType=&listSize=36&filter=&isPriceRange=false&brand=&offerCondition=&rating=0&page=1&rocketAll=false&searchIndexingToken=1=6&backgroundCo.. 2023. 1. 24. [웹스크래핑] HTTP Method - Get vs. Post HTTP Method HTTP Method는 크게 Get 방식과 Post 방식이 있다. *HTTP : 웹상에서 클라이언트와 서버 간에 Request(요청)/Response(응답)으로 데이터를 주고 받을 수 있는 프로토콜 Get 서버로 어떠한 리소스로 부터 정보를 얻기(Get)위해 사용하는 방식 Get은 데이터를 읽을 때만 사용하고 데이터를 수정하지 않는다. 어떠한 정보를 누구나 볼 수 있게 url에 적어서 보내는 방식이다. url에 적어서 보낼때 쿼리스트링(QueryString)을 사용한다. Get은 한번 전송할 때, 보낼 수 있는 데이터 양이 정해져있어서 많은 양의 데이터를 보내지 못한다. 쿼리스트링(QueryString) www.example-url.com/resources?name1=value1&n.. 2023. 1. 18. 이전 1 2 다음 728x90 반응형
