쿼리를 기반으로 검색 결과에서 URL 가져 오기 및 웹 페이지에서 업데이트

이 프로세스를 매일 또는 매시간 수행하는 방법을 찾으려고 노력합니다.

1. 아마존으로 이동하여 "항목"을 검색하십시오.
2. 검색 결과에서 특정 제품을 찾습니다 (항상 동일한 제목을 가짐)
3. 특정 제품의 링크를 캡처합니다 (정기적으로 변경됨)
4. 이 링크를 어딘가에 저장하고 링크를 방문 페이지로 업데이트하십시오 (HTML, Google 페이지 등).

어디서부터 시작해야 할 아이디어가 있습니까?

나는 Selenium이라는 도서관을 살펴볼 것을 제안합니다. Firefox의 확장 기능으로도 존재하지만 확장 프로그램이 생성하는 코드로 재생하기 위해 lib도 설치합니다. 개인적으로 저는 Python을 사용했습니다.

확장 기능은 웹 브라우저에서 수행하는 모든 작업에 대한 레코더 역할을합니다. 녹음이 끝나면 선택한 언어로 코드를 생성하려고 시도합니다. 내 경험에 따르면 코드를 올바르게 조정하려면 코드를 약간 조정해야하지만 보일러 플레이트 및 오류보고는 문제가 없습니다.

Selenium을 사용하여 다음과 같은 스크립트를 작성할 수 있습니다.

1. amazon.com에서 브라우저를 엽니 다
2. 검색 창 클릭
3. 아이템 제목 검색
4. 아이템 페이지로 이동
5. 아이템 페이지의 URL을 캡처합니다
6. URL을 .txt 또는 다른 원하는 URL로 내 보냅니다.

코드가 작동하면 Linux의 crontab 또는 Windows의 Windows Scheduler에서 작업을 설정하여 원하는 시간에 스크립트를 실행할 수 있습니다.

자세한 내용은 http://www.seleniumhq.org/docs/에 대한 Selenium 설명서 페이지입니다 .