헤드리스 브라우저 및 스크래핑-솔루션 [닫기]

브라우저 자동 테스트 슈트 및 긁을 수있는 헤드리스 브라우저 플랫폼에 대한 가능한 솔루션 목록을 작성하려고합니다.

브라우저 테스트 / 스 크라이 핑 :

• 셀레늄 - 수개 국어의 브라우저 자동화에 주력, 빠른 테스트 배포를위한 파이썬, 루비, 자바 스크립트, C #을, 하스켈 더 (확장으로) Firefox 용 IDE에 대한 바인딩. 서버 역할을 할 수 있으며 수많은 기능이 있습니다.

자바 스크립트

• 화면 캡처 및 자동화를 통한 헤드리스 테스트 인 PhantomJS - JavaScript 는 Webkit을 사용합니다 . 1.8 버전부터 Selenium의 WebDriver API가 구현되었으므로 모든 WebDriver 바인딩을 사용할 수 있으며 테스트는 Selenium과 호환됩니다.
• SlimerJS - PhantomJS 와 유사하며 WebKit 대신 Gecko (Firefox)를 사용합니다
• CasperJS - JavaScript 는 PhantomJS와 SlimerJS를 기반으로하며 추가 기능이 있습니다
• Ghost Driver - PhantomJS 용 WebDriver Wire Protocol 의 JavaScript 구현 .
• 새로운 PhantomCSS -CSS 회귀 테스트. CasperJS는 PhantomJS 및 시각적 회귀 테스트 자동화 모듈 Resemble.js를 .
• 새로운 WebdriverCSS- 시각적 회귀 테스트 자동화를위한 Webdriver.io 용플러그인
• 새로운 PhantomFlow- 테스트를 통한 사용자 흐름을 설명하고 시각화합니다. 웹 사용자 인터페이스 테스트에 대한 실험적 접근.
• 새로운 trifleJS -Internet Explorer 엔진을 사용하도록 PhantomJS API를 포팅합니다.
• 새로운 CasperJS IDE (상업용)

노드 .JS

• 노드 팬텀 -PhantomJS 와 node.js 간의 격차를 해소
• WebDriverJs -Selenium Team의 node.js에 대한 Selenium WebDriver 바인딩
• WD.js -WebDriver / Selenium 2 용 노드 모듈
• yiewd- 최신 하모니 생성기를 사용하는 WD.js 래퍼! 수확량으로 콜백 피라미드 제거
• ZombieJs - node.js를 사용한 엄청나게 빠른 헤드리스 풀 스택 테스트
• NightwatchJs -Selenium Webdriver를 사용한 Node JS 기반 테스트 솔루션
• 키메라 -키메라 : phantomJS의 모든 기능을 수행 할 수 있지만 완전한 JS 환경
• Dalek.js -Selenium Webdriver를 통한 JavaScript를 사용한 자동화 된 크로스 브라우저 테스트
• Webdriver.io- 사전 정의 된 50 개 이상의 동작으로 WebDriver 바인딩을보다 효과적으로 구현
• 악몽 -고급 API를 갖춘 전자 브리지.
• jsdom- 웹 스크래핑에 맞게 조정되었습니다. Node.js로 구현 된 매우 가벼운 DOM으로 자바 스크립트가있는 페이지를 지원합니다.
• 새로운 Puppeteer -Chrome 또는 Chromium을 제어하기위한 고급 API를 제공하는 노드 라이브러리. Puppeteer는 기본적으로 헤드리스로 실행됩니다.

웹 스크랩 핑 / 마이닝

• Scrapy - Python , 주로 스크레이퍼 / 광부-빠르고 문서화가 잘되어 있으며 훌륭한 마이닝 배포를 위해 Django Dynamic Scraper 와 연결 하거나 Scrapy Cloud for PaaS (서버없는) 배포는 터미널 또는 서버 독립형 프로세스 에서 작동합니다. 트위스티드 위에 구축 된 셀러리 와 함께 사용 가능
• Snailer - node.js 모듈, 아직 테스트되지 않았습니다.
• Node-Crawler - node.js 모듈, 아직 테스트되지 않았습니다.

온라인 도구

• 새로운 웹 스크랩 핑 언어 -웹을 크롤링하는 간단한 구문

• 새로운 온라인 HTTP 클라이언트 -전용 SO 답변

• 죽은 CasperBox- 온라인 CasperJS 스크립트실행

관련 링크 및 리소스

• 웹 스크래핑 소프트웨어 비교
• 새로운 Resemble.js : 이미지 분석 및 비교

질문 :

• 실제로 작동하고 문서화되어있는 순수한 Node.js 솔루션 또는 Nodejs to PhanthomJS / CasperJS 모듈?

답변 : 키메라는 그 방향으로 갈 것 같다, 체크 아웃 키메라를

• Selenium보다 JavaScript 주입이 더 쉬운 다른 솔루션?

• 순수한 루비 솔루션 을 알고 있습니까?

답변 : 루비 기반 솔루션으로 rjk가 작성한 목록을 확인하십시오.

• 관련 기술이나 솔루션을 알고 있습니까?

이 질문을 자유롭게 편집하고 원하는대로 내용을 추가하십시오! 당신의 기여에 감사드립니다!

루비가 당신의 것이라면, 당신은 또한 시도 할 수 있습니다 :

• https://github.com/chriskite/anemone (개발 중단)
• https://github.com/sparklemotion/mechanize
• https://github.com/postmodern/spidr
• https://github.com/stewartmckee/cobweb
• http://watirwebdriver.com/ (셀레늄)

또한 노코 기리 보석은 긁기 위해 사용할 수 있습니다.

• http://nokogiri.org/

packt 출판으로 스크래핑에 노코 기리를 활용하는 방법에 대한 책이 있습니다.

http://triflejs.org/ 는 phantomjs와 비슷하지만 IE 기반

JS 기반 셀레늄의 일종은 Dalek.js 입니다. 자동 프런트 엔드 테스트를 목표로 할뿐만 아니라 스크린 샷을 사용할 수도 있습니다. 모든 중요한 브라우저를위한 웹 드라이버가 있습니다. 불행히도 이러한 웹 드라이버는 개선 할 가치가있는 것으로 보입니다 (Firefox에 "버기 (buggy)"라고 말하지 않음).