자동 썸네일형 리스트형 [웹크롤링] 네이버 - 페이지 자동으로 넘기는 방법 네이버 홈페이지에서 검색어를 입력한 뒤, '뉴스' 탭에서 뉴스 기사 제목들을 크롤링할 때 한 페이지 당 10개의 기사가 나오는데요, 페이지를 넘기지 않는다면 10개까지밖에 크롤링이 되지 않습니다. 따라서 자동으로 페이지를 넘기고, 다시 기사 제목을 크롤링해야 하는데요, 코드를 어떻게 입력해야 페이지를 자동으로 넘길 수 있을까요? 해답은 바로, url 주소에 있는데요, 예를 들어, 네이버 검색창에 '여행'이라고 검색한 다음 뉴스 탭을 누르면 나오는 첫 페이지의 주소가 다음과 같습니다. https://search.naver.com/search.naver?where=news&sm=tab_jum&query=여행 한편, 두 번째 페이지와 세 번째 페이지를 각각 누른 뒤에 주소는 아래와 같이 나오게 됩니다. htt.. 더보기 [웹크롤링] 페이지 맨 밑으로 스크롤 하는 방법 이전 글에서는 원하는 픽셀만큼 아래로 스크롤하는 방법에 대해서 살펴보았는데요, 이번에는 같은 함수 execute_script() 함수로 페이지 맨 밑으로 스크롤하는 방법에 대해서 알아보겠습니다. 먼저, 웹 드라이버는 아래와 같이 설정하도록 하겠습니다.(selenium, 크롬드라이버 사용한다는 가정하에 코드입니다.) path = "c:/temp/chromedriver_240/chromedriver.exe" ###자신의 chomedriver의 경로 위치 driver = webdriver.Chrome(path) 웹 드라이버를 'driver' 라는 변수에 저장해주었는데요, 각자 코드에 맞게 입력하시면 됩니다. 그리고나서, 페이지 맨 밑으로 스크롤을 하기 위해 다음과 같이 입력해주면 됩니다. driver.exec.. 더보기 [웹크롤링] 자동으로 스크롤 내려가게 하는 방법 예를 들어, 네이버 홈페이지에 키워드를 입력하고 관련 블로그 글들을 크롤링할 때, 딱 30개의 블로그만 처음에 보이는데요, 그 이후에 따로 스크롤을 내리지 않으면 30개까지만 크롤링을 하고 멈추게 됩니다. 따라서 만약 30개 이상의 글들을 크롤링하려면 스크롤을 중간 중간에 내리게 하는 코드를 입력해야 하는데요, 이를 도와주는 함수가 바로 execute_script() 합수입니다. 밑에 코드를 보면서 설명하도록 하겠습니다. - execute_script("window.scrollTo( );") : 스크롤하기 execute_Script("window.scrollTo( );") 함수는 해당 픽셀만큼 아래로 화면을 이동시키는 함수인데요, 만약 500픽셀만큼 아래로 이동하고 싶다면 execute_Script("w.. 더보기 이전 1 다음
