우분투 웹 거미

이 Webripper-Calluna Software 와 같은 Ubuntu 용 웹 스파이더를 찾고 있습니다. 당신이 할 수있는 것처럼 전체 사이트를 다운로드 할 수 있습니다

wget -r -m example.com

그러나 내가 찾고있는 기능은 "Linux"와 같은 검색어를 입력하고 웹을 검색하여 다운로드한다는 것입니다. 우분투에 이와 같은 프로그램이 있습니까?

Google 알리미를 사용하여 피드로 전달되는 일종의 검색 페이지를 만든 다음 RSS 리더 또는 Thunderbird를 사용하여 읽을 수 있습니다.

RSS에 Thunderbird를 사용합니다. 피드를 간단한 html로 내보낼 수있는 RSS 리더가 있는지 모르겠습니다.

httrack (CLI) 또는 webhttrack (웹 인터페이스)에 샷을 제공하면 유니버스 리포지토리에 있습니다. 설명하는 검색어 기능에 대해 잘 모르겠지만 쉽게 구성 할 수있는 여러 옵션을 제공합니다.

http://packages.ubuntu.com/de/oneiric/webhttrack

HTTrack 웹 사이트 복사기-무료 소프트웨어 오프라인 브라우저 (GNU GPL)

당신은 http 리퍼 를 시도해 볼 수 있습니다 .

웹 사이트에 게시 된 기능은 다음과 같습니다.

Free Software (GPL 3)
Generic (works with almost every website)
Runs on GNU/Linux and Windows
Nearly undetectable / blockable by servers
Built with python and pygtk

^{스크린 샷}

httpripper 개발자의 튜토리얼을보십시오.

• httpripper.ogg .

다운로드 링크:

• httpripper_1.1.1_all.deb

우분투 11.10 x64에서 나를 위해 일했습니다.

Perl의 CPAN에는 적절한 모듈이 있습니다. 약간의 펄 스크립팅이 필요합니다.

상기 기계화 모듈 : 특히, 상기 WWW 봐 걸릴 기계화 모듈 : WWW를 .