리미창고

Selenium(셀레니움)이란?웹사이트 자동화 및 테스트를 위한 포터블 프레임워크이다. 자바스크립트를 사용해서 만든 동적 생성 정보를 크롤링/스크래핑할 때 사용한다.  셀레니움으로 어떤걸 할 수 있나?1. 웹페이지 자동로그인2. 메일 자동으로 보내기3. SNS 좋아요 자동으로 누르기등을 할 수 있다.  셀레니움 기본 모듈 설치pip install selenium # 셀레니움 모듈 설치pip install --upgrade pip # pip 최신버전 업그레이드pip install --upgrade selenium # 셀레니움 모듈 최신버전 업그레이드pip install webdriver_manager # 웹드라이버 매니저 설치   웹드라이버 설치크롬 웹드라이버를 사용할 것이므로, 크롬 버전 확인이 필요하다..

실습 1 : 네이버 증권 웹페이지에서 시가총액 1 ~ 200위 종목과 정보 가져오기   import csvimport requestsfrom bs4 import BeautifulSoupurl = "https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page=" 스크래핑한 정보를 저장하기 위해 csv 모듈을 사용한다. 접근할 url : https://finance.naver.com/sise/sise_market_sum.nhn?sosok=0&page=  url 맨 뒤 page= 다음에 숫자가 오는데 숫자가 빠져있다. 페이지 숫자는 for문을 사용하여 접근할 것이다. 예를 들어,page=1 : 첫 번째 페이지page=2 : 두 번째 페이지    filena..

실습 1 : 최근 5년 역대 관객순위 1 ~ 5위 영화 이미지 가져오기 import requestsfrom bs4 import BeautifulSoupfor year in range(2018, 2023): url = "https://search.daum.net/search?w=tot&q={}%EB%85%84%EC%98%81%ED%99%94%EC%88%9C%EC%9C%84&DA=MOR&rtmaxcoll=MOR".format(year) res = requests.get(url) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml")...tot&q={}%EB%85%84%EC....format(year) 2018년부터 2022년..

실습 1 : 쿠팡에서 노트북 제품 가져오기 import requestsimport refrom bs4 import BeautifulSoupurl = "https://www.coupang.com/np/search?q=%EB%85%B8%ED%8A%B8%EB%B6%81&channel=user&component=&eventCategory=SRP&trcid=&traid=&sorter=scoreDesc&minPrice=&maxPrice=&priceRange=&filterType=&listSize=36&filter=&isPriceRange=false&brand=&offerCondition=&rating=0&page=1&rocketAll=false&searchIndexingToken=1=6&backgroundColor..

HTTP MethodHTTP Method는 크게 Get 방식과 Post 방식이 있다. *HTTP : 웹상에서 클라이언트와 서버 간에 Request(요청)/Response(응답)으로 데이터를 주고 받을 수 있는 프로토콜   Get서버로 어떠한 리소스로 부터 정보를 얻기(Get)위해 사용하는 방식 Get은 데이터를 읽을 때만 사용하고 데이터를 수정하지 않는다.어떠한 정보를 누구나 볼 수 있게 url에 적어서 보내는 방식이다.url에 적어서 보낼때 쿼리스트링(QueryString)을 사용한다.Get은 한번 전송할 때, 보낼 수 있는 데이터 양이 정해져있어서 많은 양의 데이터를 보내지 못한다. 쿼리스트링(QueryString)www.example-url.com/resources?name1=value1&name2..

실습1 : 네이버 웹툰 전체 목록(제목) 가져오기 import requestsfrom bs4 import BeautifulSoupurl = "https://comic.naver.com/webtoon/weekday" # 접근할 urlres = requests.get(url) # 원하는 url의 정보res.raise_for_status() # 웹페이지의 상태가 정상인지 확인soup = BeautifulSoup(res.text, "lxml") # 가져온 HTML 문서를 파서를 통해 BeautifulSoup 객체로 만듦 # 네이버 웹툰 전체 목록 가져오기cartoons = soup.find_all("a", attrs={"class":"title"}) # HTML 문서에서 태그명이 a이고 class 속성이 tit..