Python 용 Selenium WebDriver로 페이지가로드 될 때까지 기다리십시오.

무한 스크롤로 구현 된 페이지의 모든 데이터를 긁어 내고 싶습니다. 다음 파이썬 코드가 작동합니다.

for i in range(100):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(5)

이것은 맨 아래로 스크롤 할 때마다 5 초 동안 기다려야한다는 것을 의미합니다. 일반적으로 페이지가 새로 생성 된 내용의로드를 마치기에 충분합니다. 그러나 이것은 시간 효율적이지 않을 수 있습니다. 페이지가 5 초 내에 새 내용로드를 완료 할 수 있습니다. 아래로 스크롤 할 때마다 페이지에 새 내용로드가 완료되었는지 어떻게 알 수 있습니까? 이를 감지 할 수 있으면 페이지로드가 완료된 후 다시 아래로 스크롤하여 더 많은 내용을 볼 수 있습니다. 이것은 더 시간 효율적입니다.

을 webdriver통해 기본적으로 부하에 페이지를 기다립니다 .get()방법.

@ user227215가 말한 것처럼 특정 요소를 찾고 있듯이 WebDriverWait페이지에있는 요소를 기다리는 데 사용해야 합니다.

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

browser = webdriver.Firefox()
browser.get("url")
delay = 3 # seconds
try:
    myElem = WebDriverWait(browser, delay).until(EC.presence_of_element_located((By.ID, 'IdOfMyElement')))
    print "Page is ready!"
except TimeoutException:
    print "Loading took too much time!"

경고를 확인하는 데 사용했습니다. 다른 유형의 메소드를 사용하여 로케이터를 찾을 수 있습니다.

편집 1 :

webdriver페이지가 기본적으로로드 될 때까지 기다릴 것이라고 언급해야합니다 . 프레임 내부 또는 ajax 요청을로드하기를 기다리지 않습니다. 를 사용 .get('url')하면 브라우저가 페이지가 완전히로드 될 때까지 기다린 다음 코드의 다음 명령으로 이동합니다. 그러나 아약스 요청을 게시 webdriver할 때 기다리지 말고 페이지 또는 페이지의 일부가로드 될 때까지 적절한 시간을 기다려야합니다. 라는 모듈이 expected_conditions있습니다.

find_element_by_id에 대한 생성자에 전달하려고 시도하면 presence_of_element_located( 허용 된 답변에 표시됨) 발생 NoSuchElementException했습니다. 나는 fragles ' comment 에서 구문을 사용해야했습니다 .

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

driver = webdriver.Firefox()
driver.get('url')
timeout = 5
try:
    element_present = EC.presence_of_element_located((By.ID, 'element_id'))
    WebDriverWait(driver, timeout).until(element_present)
except TimeoutException:
    print "Timed out waiting for page to load"

이것은 문서 의 예제 와 일치합니다 . 다음은 By 문서에 대한 링크 입니다.

아래 3 가지 방법을 찾으십시오.

readyState

페이지 readyState 확인 (안정되지 않음) :

def page_has_loaded(self):
    self.log.info("Checking if {} page is loaded.".format(self.driver.current_url))
    page_state = self.driver.execute_script('return document.readyState;')
    return page_state == 'complete'

wait_for도우미 기능은 좋지만, 불행히도 click_through_to_new_page브라우저가 클릭 처리를 시작하기 전에, 우리는 이전 페이지에서 스크립트를 실행하는 관리 경쟁 조건에 개방하고, page_has_loaded단지 바로 true를 돌려줍니다.

id

새 페이지 ID와 이전 페이지 ID 비교

def page_has_loaded_id(self):
    self.log.info("Checking if {} page is loaded.".format(self.driver.current_url))
    try:
        new_page = browser.find_element_by_tag_name('html')
        return new_page.id != old_page.id
    except NoSuchElementException:
        return False

ID를 비교하는 것이 오래된 참조 예외를 기다리는 것만 큼 효과적이지 않을 수 있습니다.

staleness_of

staleness_of방법을 사용하여 :

@contextlib.contextmanager
def wait_for_page_load(self, timeout=10):
    self.log.debug("Waiting for page to load at {}.".format(self.driver.current_url))
    old_page = self.find_element_by_tag_name('html')
    yield
    WebDriverWait(self, timeout).until(staleness_of(old_page))

자세한 내용은 Harry의 블로그를 확인하십시오 .

David Cullen 의 답변에서 언급했듯이 항상 다음과 같은 줄을 사용하는 것이 좋습니다.

element_present = EC.presence_of_element_located((By.ID, 'element_id'))
WebDriverWait(driver, timeout).until(element_present)

와 함께 사용할 수있는 모든 로케이터를 찾기가 어려웠 By으므로 여기에 목록을 제공하는 것이 유용 할 것이라고 생각했습니다. Ryan Mitchell의 Python 으로 Web Scraping 에 따르면 :

ID

예제에서 사용됩니다. HTML id 속성으로 요소를 찾습니다.

CLASS_NAME

HTML 클래스 속성으로 요소를 찾는 데 사용됩니다. 이 기능이 왜 CLASS_NAME간단하지 CLASS않습니까? 이 양식을 사용하면 예약 된 메소드 인 object.CLASS Selenium의 Java 라이브러리에 문제가 발생합니다 .class. 다른 언어간에 셀레늄 구문을 일관성있게 유지하기 위해 CLASS_NAME대신 사용되었습니다.

CSS_SELECTOR

사용하여, 자신의 클래스 ID 또는 태그 이름으로 요소를 찾아 #idName, .className, tagName규칙을.

LINK_TEXT

포함 된 텍스트로 HTML 태그를 찾습니다. 예를 들어을 사용하여 "다음"이라는 링크를 선택할 수 있습니다 (By.LINK_TEXT, "Next").

PARTIAL_LINK_TEXT

와 비슷 LINK_TEXT하지만 부분 문자열에서 일치합니다.

NAME

이름 속성으로 HTML 태그를 찾습니다. HTML 양식에 편리합니다.

TAG_NAME

태그 이름으로 HTML 태그를 찾습니다.

XPATH

XPath 표현식을 사용하여 일치하는 요소를 선택하십시오.

에서 셀레늄 / webdriver / 지원 / wait.py

driver = ...
from selenium.webdriver.support.wait import WebDriverWait
element = WebDriverWait(driver, 10).until(
    lambda x: x.find_element_by_id("someId"))

참고로 100 번 아래로 스크롤하는 대신 DOM에 더 이상 수정 사항이 없는지 확인할 수 있습니다 (페이지 하단이 AJAX 지연로드 인 경우)

def scrollDown(driver, value):
    driver.execute_script("window.scrollBy(0,"+str(value)+")")

# Scroll down the page
def scrollDownAllTheWay(driver):
    old_page = driver.page_source
    while True:
        logging.debug("Scrolling loop")
        for i in range(2):
            scrollDown(driver, 500)
            time.sleep(2)
        new_page = driver.page_source
        if new_page != old_page:
            old_page = new_page
        else:
            break
    return True

당신이 시도 했습니까 driver.implicitly_wait. 드라이버 설정과 같으므로 세션에서 한 번만 호출하면 기본적으로 드라이버가 각 명령을 실행할 수있을 때까지 주어진 시간 동안 기다리도록 지시합니다.

driver = webdriver.Chrome()
driver.implicitly_wait(10)

따라서 대기 시간을 10 초로 설정하면 가능한 빨리 명령을 실행하고 포기하기 전에 10 초 동안 대기합니다. 비슷한 스크롤 다운 시나리오에서 이것을 사용했기 때문에 귀하의 경우에는 왜 작동하지 않는지 알 수 없습니다. 이것이 도움이 되길 바랍니다.

이 답변을 수정하려면 새 텍스트를 추가해야합니다. 에 소문자 'w'를 사용해야합니다 implicitly_wait.

While 루프에 WebDriverWait를 넣고 예외를 잡는 것은 어떻습니까.

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

browser = webdriver.Firefox()
browser.get("url")
delay = 3 # seconds
while True:
    try:
        WebDriverWait(browser, delay).until(EC.presence_of_element_located(browser.find_element_by_id('IdOfMyElement')))
        print "Page is ready!"
        break # it will break from the loop once the specific element will be present. 
    except TimeoutException:
        print "Loading took too much time!-Try again"

여기서는 간단한 양식을 사용하여 수행했습니다.

from selenium import webdriver
browser = webdriver.Firefox()
browser.get("url")
searchTxt=''
while not searchTxt:
    try:    
      searchTxt=browser.find_element_by_name('NAME OF ELEMENT')
      searchTxt.send_keys("USERNAME")
    except:continue

이 기능으로 매우 간단하게 할 수 있습니다.

def page_is_loading(driver):
    while True:
        x = driver.execute_script("return document.readyState")
        if x == "complete":
            return True
        else:
            yield False

페이지로드가 완료된 후 무언가를 원할 때 다음을 사용할 수 있습니다.

Driver = webdriver.Firefox(options=Options, executable_path='geckodriver.exe')
Driver.get("https://www.google.com/")

while not page_is_loading(Driver):
    continue

Driver.execute_script("alert('page is loaded')")