웹 페이지의 모든 외부 링크를 추출하여 파일로 저장하려면 어떻게합니까?

웹 페이지의 모든 외부 링크를 추출하여 파일로 저장하려면 어떻게합니까?

명령 줄 도구가 있다면 좋을 것입니다.

lynx 및 awk 도구가 필요 합니다.

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' > links.txt

번호 매기기 줄이 필요한 경우 nl 명령을 사용 하여 다음을 시도하십시오.

$ lynx -dump http://www.google.com.br | awk '/http/{print $2}' | nl > links.txt

lelton의 답변이 개선되었습니다 : lynx가 유용한 옵션을 얻는 데 전혀 신경 쓸 필요가 없습니다.

lynx -listonly -nonumbers -dump http://www.google.com.br

당신이 숫자를 원한다면

lynx -listonly -dump http://www.google.com.br

1. Beautiful Soup 을 사용 하여 해당 웹 페이지를 검색하십시오.
2. 도메인을 가리 키지 않는 모든 URL을 찾으려면 awk를 사용하십시오.

화면 스크래핑 기술보다 Beautiful Soup을 추천합니다.

명령 행이 강제가 아닌 경우 모든 링크 복사 Firefox 확장을 사용할 수 있습니다 .