selenium 썸네일형 리스트형 [웹크롤링] 네이버 - 연관검색어 크롤링하기 (selenium, 크롬 드라이버 사용) 이전 글에서는 requests를 이용해서 검색어에 대한 연관검색어를 크롤링하는 방법에 대해서 살펴보았는데요, 이번 글에서는 selenium과 크롬 드라이버를 이용해서 연관검색어를 크롤링하는 방법에 대해서 살펴보도록 하겠습니다. 1. 필요한 라이브러리 import 하기 from bs4 import BeautifulSoup from selenium import webdriver import time 먼저, 필요한 라이브러리를 설치해줍니다. 이때 selenium 웹 드라이버를 사용했습니다. 2. 크롬 드라이버 경로 설정하기 path = "c:/temp/chromedriver_240/chromedriver.exe" ###chomedriver의 경로 위치 driver = webdriver.Chrome(path) .. 더보기 [웹크롤링] 버튼 클릭하는 방법 - xpath (selenium, 크롬 드라이버) 웹크롤링할 때, 페이지에서 버튼을 클릭하는 방법은 다양한데요, 그중에서 많이 사용되는 xpath를 이용한 버튼을 클릭하는 방법에 대해서 살펴보도록 하겠습니다. (selenium, 크롬 드라이버를 사용한다는 가정하에서 설명드리겠습니다.) - xpath : 버튼 클릭하기 먼저, 다음 코드를 입력해서 네이버 홈페이지를 열도록 하겠습니다. from bs4 import BeautifulSoup from selenium import webdriver path = "c:/temp/chromedriver_240/chromedriver.exe" #자신의 chomedriver의 경로 위치 driver = webdriver.Chrome(path) driver.get("https://naver.com") 위 코드를 실행하면 .. 더보기 [웹크롤링] selenium 설치 & 사용 방법 (웹 크롤링 실행 코드) 1. selenium 설치하기 selenium은 웹 크롤러를 만드는데 도와주는 라이브러리로, 사람을 대신해서 주어진 작업을 하는데요, 예를 들어, 크롤링할 명령을 입력하면 사람 대신 직접 페이지를 열고, 지정한 태그 등을 찾아서 데이터를 수집해줍니다. 이러한 selenium 라이브러리는 cmd 창에서 pip install selenium 을 통해 패키지를 설치할 수 있습니다. 2. 웹 브라우저 프로그램 설치하기 selenium을 설치했다면 selenium 패키지가 사용할 웹 브라우저 프로그램을 설치해야 한답니다. 주로 크롬이 만힝 사용되는데요, 크롬은 selenium이 사용하는 프로그램과 다르기 때문에 크롬 드라이버를 설치해야 합니다. 이때 설치한 폴더의 위치와 이름을 기억해야 하는데요, 왜냐하면 웹크롤.. 더보기 이전 1 다음
