Python에서 프록시로 Selenium Webdriver 실행


84

몇 가지 기본 작업을 수행하기 위해 Python에서 Selenium Webdriver 스크립트를 실행하려고합니다. Selenium IDE 인터페이스를 통해 로봇을 실행할 때 로봇이 완벽하게 작동하도록 할 수 있습니다 (예 : 단순히 GUI가 내 작업을 반복하도록 할 때). 그러나 코드를 Python 스크립트로 내보내고 명령 줄에서 실행하려고하면 Firefox 브라우저가 열리지 만 시작 URL에 액세스 할 수 없습니다 (명령 줄에 오류가 반환되고 프로그램이 중지됨). 이것은 내가 액세스하려는 웹 사이트 등에 관계없이 발생합니다.

여기에 데모 용으로 매우 기본적인 코드를 포함했습니다. 반환되는 오류가 프록시에 의해 생성 된 것처럼 보이기 때문에 코드의 프록시 섹션을 올바르게 포함했다고 생각하지 않습니다.

어떤 도움이라도 대단히 감사하겠습니다.

아래 코드는 단순히 www.google.ie를 열고 "selenium"이라는 단어를 검색하기위한 것입니다. 나를 위해 그것은 빈 Firefox 브라우저를 열고 중지합니다.

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
import unittest, time, re
from selenium.webdriver.common.proxy import *

class Testrobot2(unittest.TestCase):
    def setUp(self):

        myProxy = "http://149.215.113.110:70"

        proxy = Proxy({
        'proxyType': ProxyType.MANUAL,
        'httpProxy': myProxy,
        'ftpProxy': myProxy,
        'sslProxy': myProxy,
        'noProxy':''})

        self.driver = webdriver.Firefox(proxy=proxy)
        self.driver.implicitly_wait(30)
        self.base_url = "https://www.google.ie/"
        self.verificationErrors = []
        self.accept_next_alert = True

    def test_robot2(self):
        driver = self.driver
        driver.get(self.base_url + "/#gs_rn=17&gs_ri=psy-ab&suggest=p&cp=6&gs_id=ix&xhr=t&q=selenium&es_nrs=true&pf=p&output=search&sclient=psy-ab&oq=seleni&gs_l=&pbx=1&bav=on.2,or.r_qf.&bvm=bv.47883778,d.ZGU&fp=7c0d9024de9ac6ab&biw=592&bih=665")
        driver.find_element_by_id("gbqfq").clear()
        driver.find_element_by_id("gbqfq").send_keys("selenium")

    def is_element_present(self, how, what):
        try: self.driver.find_element(by=how, value=what)
        except NoSuchElementException, e: return False
        return True

    def is_alert_present(self):
        try: self.driver.switch_to_alert()
        except NoAlertPresentException, e: return False
        return True

    def close_alert_and_get_its_text(self):
        try:
            alert = self.driver.switch_to_alert()
            alert_text = alert.text
            if self.accept_next_alert:
                alert.accept()
            else:
                alert.dismiss()
            return alert_text
        finally: self.accept_next_alert = True

    def tearDown(self):
        self.driver.quit()
        self.assertEqual([], self.verificationErrors)

if __name__ == "__main__":
    unittest.main()

답변:


41

이 방식으로 작동합니다 (@Amey 및 @ user4642224 코드와 비슷하지만 약간 짧음).

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType

prox = Proxy()
prox.proxy_type = ProxyType.MANUAL
prox.http_proxy = "ip_addr:port"
prox.socks_proxy = "ip_addr:port"
prox.ssl_proxy = "ip_addr:port"

capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

driver = webdriver.Chrome(desired_capabilities=capabilities)

2
작동합니다. 감사합니다. 문서에서 원격 드라이버를 사용해야한다고 말하는 것이 이상합니다.
Mans

driver = webdriver.Firefox (desired_capabilities = capabilities) TypeError : __init __ ()에 예기치 않은 키워드 인수 'desired_capabilities'가있는 이유는 무엇입니까?
Rimo

33

이런 건 어때

PROXY = "149.215.113.110:70"

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "class":"org.openqa.selenium.Proxy",
    "autodetect":False
}

# you have to use remote, otherwise you'll have to code it yourself in python to 
driver = webdriver.Remote("http://localhost:4444/wd/hub", webdriver.DesiredCapabilities.FIREFOX)

여기에서 자세한 내용을 읽을 수 있습니다 .


이 답변은 저에게 잘 맞았습니다. 다른 사람이 Edge로이 작업을 시도하는 경우 webdriver.DesiredCapabilities.EDGE['proxy']Microsoft Edge에는 현재 프록시 서버를 구성하는 설정이 없기 때문에 효과가 없습니다 (프록시와 함께 Edge를 사용하려면 Windows 네트워크 연결 설정에서 프록시를 구성해야 함) .
Steve HHH 2015

1
자세한 문서는 다음을 참조하십시오 : github.com/SeleniumHQ/selenium/wiki/…
LeckieNi

14

내 솔루션 :

def my_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        # Direct = 0, Manual = 1, PAC = 2, AUTODETECT = 4, SYSTEM = 5
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("general.useragent.override","whater_useragent")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

그런 다음 코드를 호출하십시오.

my_proxy(PROXY_HOST,PROXY_PORT)

문자열을 포트 번호로 전달했기 때문에이 코드에 문제가 발생했습니다.

 PROXY_PORT="31280"

이것은 중요하다:

int("31280")

문자열 대신 정수를 전달해야합니다. 그렇지 않으면 firefox 프로필이 제대로 포트로 설정되지 않고 프록시를 통한 연결이 작동하지 않습니다.


1
포트를 int로 변환해야합니까? 그러면 공식 페이지의 Firefox 프록시 예제가 잘못됩니다. seleniumhq.org/docs/04_webdriver_advanced.jsp 예제에서 PROXYHOST : PROXYPORT는 문자열로 전달됩니다.
Pyderman

@Pyderman, Proxy()클래스와 FirefoxProfile()클래스를 혼동하고 있습니다 . 프로필 기본 설정을 사용하면 ip와 port를 별도로 전달 port하고 int(). 에서 Proxy()클래스 당신은 containig 문자열 통과 "IP : PORT를"확실히 당신을 위해 나머지 작업을 수행합니다.
m3nda

7

sock5 프록시도 설정해보십시오. 같은 문제에 직면했고 양말 프록시를 사용하여 해결되었습니다.

def install_proxy(PROXY_HOST,PROXY_PORT):
        fp = webdriver.FirefoxProfile()
        print PROXY_PORT
        print PROXY_HOST
        fp.set_preference("network.proxy.type", 1)
        fp.set_preference("network.proxy.http",PROXY_HOST)
        fp.set_preference("network.proxy.http_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.https",PROXY_HOST)
        fp.set_preference("network.proxy.https_port",int(PROXY_PORT))
        fp.set_preference("network.proxy.ssl",PROXY_HOST)
        fp.set_preference("network.proxy.ssl_port",int(PROXY_PORT))  
        fp.set_preference("network.proxy.ftp",PROXY_HOST)
        fp.set_preference("network.proxy.ftp_port",int(PROXY_PORT))   
        fp.set_preference("network.proxy.socks",PROXY_HOST)
        fp.set_preference("network.proxy.socks_port",int(PROXY_PORT))   
        fp.set_preference("general.useragent.override","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A")
        fp.update_preferences()
        return webdriver.Firefox(firefox_profile=fp)

그런 다음 install_proxy ( ip , port ) 프로그램에서 전화 하십시오.


프록시 자격 증명을 수락하려면 어떻게 수정합니까?
nomaam

6

누구든지 해결책을 찾고 있다면 방법은 다음과 같습니다.

from selenium import webdriver
PROXY = "YOUR_PROXY_ADDRESS_HERE"
webdriver.DesiredCapabilities.FIREFOX['proxy']={
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":None,
    "proxyType":"MANUAL",
    "autodetect":False
}
driver = webdriver.Firefox()
driver.get('http://www.whatsmyip.org/')

6

확인 프록시. 이것은 Mykhail Martsyniuk 샘플 스크립트에서 참조한 완전히 새로운 파이썬 스크립트입니다.

# Load webdriver
from selenium import webdriver

# Load proxy option
from selenium.webdriver.common.proxy import Proxy, ProxyType

# Configure Proxy Option
prox = Proxy()
prox.proxy_type = ProxyType.MANUAL

# Proxy IP & Port
prox.http_proxy = “0.0.0.0:00000”
prox.socks_proxy = “0.0.0.0:00000”
prox.ssl_proxy = “0.0.0.0:00000# Configure capabilities 
capabilities = webdriver.DesiredCapabilities.CHROME
prox.add_to_capabilities(capabilities)

# Configure ChromeOptions
driver = webdriver.Chrome(executable_path='/usr/local/share chromedriver',desired_capabilities=capabilities)

# Verify proxy ip
driver.get("http://www.whatsmyip.org/")

4

FirefoxProfile을 설정하여 시도

from selenium import webdriver
import time


"Define Both ProxyHost and ProxyPort as String"
ProxyHost = "54.84.95.51" 
ProxyPort = "8083"



def ChangeProxy(ProxyHost ,ProxyPort):
    "Define Firefox Profile with you ProxyHost and ProxyPort"
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 1)
    profile.set_preference("network.proxy.http", ProxyHost )
    profile.set_preference("network.proxy.http_port", int(ProxyPort))
    profile.update_preferences()
    return webdriver.Firefox(firefox_profile=profile)


def FixProxy():
    ""Reset Firefox Profile""
    profile = webdriver.FirefoxProfile()
    profile.set_preference("network.proxy.type", 0)
    return webdriver.Firefox(firefox_profile=profile)


driver = ChangeProxy(ProxyHost ,ProxyPort)
driver.get("http://whatismyipaddress.com")

time.sleep(5)

driver = FixProxy()
driver.get("http://whatismyipaddress.com")

이 프로그램 은 Windows 8 및 Mac OSX에서 테스트 되었습니다. Mac OSX를 사용하고 있고 셀레늄을 업데이트하지 않은 경우 selenium.common.exceptions.WebDriverException. 그렇다면 셀레늄을 업그레이드 한 후 다시 시도하십시오.

pip install -U selenium

4

위에 언급 된 결과는 정확할 수 있지만 최신 웹 드라이버에서는 작동하지 않습니다. 위의 질문에 대한 내 해결책은 다음과 같습니다. 간단하고 달콤한


        http_proxy  = "ip_addr:port"
        https_proxy = "ip_addr:port"

        webdriver.DesiredCapabilities.FIREFOX['proxy']={
            "httpProxy":http_proxy,
            "sslProxy":https_proxy,
            "proxyType":"MANUAL"
        }

        driver = webdriver.Firefox()

또는

    http_proxy  = "http://ip:port"
    https_proxy = "https://ip:port"

    proxyDict = {
                    "http"  : http_proxy,
                    "https" : https_proxy,
                }

    driver = webdriver.Firefox(proxy=proxyDict)

2

위의 답변 이 질문은 두 리눅스에 셀레늄 3.14와 파이어 폭스 68.9과 나를 위해 일을하지 않았거나 불필요하게 복잡하다. 나는 WPAD 구성을 사용해야했는데, 때로는 프록시 뒤 (VPN에서)를 사용해야했고 때로는 그렇지 않았습니다. 코드를 조금 연구 한 후 다음과 같은 결과를 얻었습니다.

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile

proxy = Proxy({'proxyAutoconfigUrl': 'http://wpad/wpad.dat'})
profile = FirefoxProfile()
profile.set_proxy(proxy)
driver = webdriver.Firefox(firefox_profile=profile)

프록시 초기화는 부작용으로 proxyType을 ProxyType.PAC (URL에서 자동 구성)로 설정합니다.

또한 다음을 사용하여 Firefox의 자동 감지와 함께 작동했습니다.

from selenium.webdriver.common.proxy import ProxyType

proxy = Proxy({'proxyType': ProxyType.AUTODETECT})

그러나 이것이 WPAD처럼 내부 URL (프록시되지 않음)과 외부 (프록시 됨) 모두에서 작동하지 않을 것이라고 생각합니다. 유사한 프록시 설정이 수동 구성에서도 작동합니다. 가능한 프록시 설정은 여기 코드 에서 볼 수 있습니다 .

proxy=proxy드라이버에 대한 프록시 개체를 직접 전달하는 것은 작동하지 않습니다. 허용되지만 무시됩니다 (사용 중단 경고가 있어야하지만 제 경우에는 Behave가이를 삼킨다 고 생각합니다).


0

@Dugini에서 언급했듯이 일부 구성 항목 이 제거되었습니다. 최대 :

webdriver.DesiredCapabilities.FIREFOX['proxy'] = {
    "httpProxy":PROXY,
    "ftpProxy":PROXY,
    "sslProxy":PROXY,
    "noProxy":[],
    "proxyType":"MANUAL"
 }

0

이것은 나를 위해 일했으며 헤드리스 브라우저를 사용할 수 있도록 프록시를 전달하는 메서드를 호출하기 만하면됩니다.

def setProxy(proxy):
        options = Options()
        options.headless = True
        #options.add_argument("--window-size=1920,1200")
        options.add_argument("--disable-dev-shm-usage")
        options.add_argument("--no-sandbox")
        prox = Proxy()
        prox.proxy_type = ProxyType.MANUAL
        prox.http_proxy = proxy
        prox.ssl_proxy = proxy
        capabilities = webdriver.DesiredCapabilities.CHROME
        prox.add_to_capabilities(capabilities)
        return webdriver.Chrome(desired_capabilities=capabilities, options=options, executable_path=DRIVER_PATH)

-1

tor 서비스를 실행하고 코드에 다음 함수를 추가하십시오.

def connect_tor(port):

socks.set_default_proxy(socks.PROXY_TYPE_SOCKS5, '127.0.0.1', port, True)
socket.socket = socks.socksocket

def main():

connect_tor()
driver = webdriver.Firefox()

이 게시물에는 정보가없고 connect_tor () 및 main () 함수에 올바른 들여 쓰기가 없으며 connect_tor () 호출에 예제의 필수 인수 "port"가 없습니다. 어떤 Tor 포트를 사용해야합니까? Tor의 포트 정보는 어디서 얻을 수 있습니까?
Karl
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.