«scrapy» 태그된 질문

닫은. 이 질문은 스택 오버플로 지침을 충족하지 않습니다 . 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 질문 업데이트 는 그래서 주제에 스택 오버플로합니다. 휴일 오년 전에 . 브라우저 자동 테스트 슈트 및 긁을 수있는 헤드리스 브라우저 플랫폼에 대한 가능한 솔루션 목록을 작성하려고합니다. 브라우저 테스트 / 스 크라이 핑 : 셀레늄 …

368 selenium  web-scraping  scrapy  phantomjs  casperjs 

Scrapy를 설치할 수 있도록 Lxml을 설치하고 싶습니다. 오늘 Mac을 업데이트하면 lxml을 다시 설치할 수 없어 다음과 같은 오류가 발생합니다. In file included from src/lxml/lxml.etree.c:314: /private/tmp/pip_build_root/lxml/src/lxml/includes/etree_defs.h:9:10: fatal error: 'libxml/xmlversion.h' file not found #include "libxml/xmlversion.h" ^ 1 error generated. error: command 'cc' failed with exit status 1 brew를 사용하여 libxml2 및 libxslt를 …

234 python  xcode  macos  scrapy  lxml 

pip를 통해 OSX 10.11 (El Capitan)에 Scrapy Python 프레임 워크를 설치하려고합니다. 설치 스크립트는 필요한 모듈을 다운로드하고 어느 시점에서 다음 오류를 반환합니다. OSError: [Errno 1] Operation not permitted: '/tmp/pip-nIfswi-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info' OSX 10.11에서 루트없는 기능을 비활성화하려고 시도했습니다. sudo nvram boot-args="rootless=0";sudo reboot 그러나 컴퓨터가 재부팅 될 때 여전히 동일한 오류가 발생합니다. 내 동료 StackExchangers의 …

206 python  macos  python-2.7  scrapy 

나는 최근에 파이썬을 배우고 있으며 웹 스크레이퍼를 만드는 데 손을 내밀고 있습니다. 전혀 공상이 아닙니다. 그것의 유일한 목적은 도박 웹 사이트에서 데이터를 가져 와서이 데이터를 Excel에 넣는 것입니다. 대부분의 문제는 해결할 수 있으며 나는 약간의 혼란을 겪고 있습니다. 그러나 나는 한 가지 문제에 대해 큰 장애물을 치고 있습니다. 사이트가 말 …

145 javascript  python  ajax  screen-scraping  scrapy 

아마존과 이베이 제품 가격의 비교를 보여주는 웹 사이트를 만들고 싶습니다. 이 중 어느 것이 더 잘 작동하며 왜 그럴까요? 나는 BeautifulSoup에 다소 익숙 하지만 Scrapy 크롤러 에는별로 익숙 하지 않습니다 .

134 python  beautifulsoup  scrapy  web-crawler 

나는 '파이썬으로 웹 스크래핑'의 코드를 연습하고 있으며이 인증서 문제가 계속 발생합니다. from urllib.request import urlopen from bs4 import BeautifulSoup import re pages = set() def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in link.attrs: if link.attrs['href'] not in pages: #We have …

123 python  web-scraping  beautifulsoup  scrapy  ssl-certificate 

사용자 정의 인수를 스크래피 스파이더에 전달하려고합니다. 누구든지 그 방법에 대해 제안 할 수 있습니까? -a어딘가 에서 매개 변수에 대해 읽었 지만 사용 방법을 모릅니다.

100 python  scrapy  web-crawler 

저는 Python 2.7로 Scrapy 0.20에서 작업하고 있습니다. PyCharm에는 좋은 Python 디버거가 있습니다. 나는 그것을 사용하여 내 Scrapy 거미를 테스트하고 싶습니다. 누구든지 제발 방법을 알고 있습니까? 내가 시도한 것 사실 나는 거미를 스크립트로 실행하려고했습니다. 결과적으로 그 스크립트를 작성했습니다. 그런 다음 Scrapy 프로젝트를 PyCharm에 다음과 같은 모델로 추가하려고했습니다. File->Setting->Project structure->Add content root. …

97 python  debugging  python-2.7  scrapy  pycharm 

스크래피를 사용하여 웹 페이지에서 제품 정보를 긁어 내려고합니다. 내 스크랩 할 웹 페이지는 다음과 같습니다. 10 개의 제품이있는 product_list 페이지로 시작 "다음"버튼을 클릭하면 다음 10 개의 제품이로드됩니다 (URL은 두 페이지간에 변경되지 않음). LinkExtractor를 사용하여 각 제품 링크를 제품 페이지로 이동하고 필요한 모든 정보를 얻습니다. next-button-ajax-call을 복제하려고했지만 작동하지 않아서 셀레늄을 사용해 …

85 python  selenium  selenium-webdriver  web-scraping  scrapy 

여러 거미가 포함 된 스크래피 프로젝트가 있습니다. 어떤 스파이더에 사용할 파이프 라인을 정의 할 수있는 방법이 있습니까? 내가 정의한 모든 파이프 라인이 모든 스파이더에 적용되는 것은 아닙니다. 감사

84 python  scrapy  web-crawler