브라우저 대신 Wget을 사용하는 이유는 무엇입니까? [닫은]

어떤 경우 에 브라우저 대신 Wget 을 사용해야 합니까?

나는 Richard Stallman이 익명 대신 브라우저 대신 브라우저를 사용한다고 들었습니다 . Wget을 사용하여 파일을 가져올 때 서버는 무엇을 보게됩니까?

일반적으로 "브라우저 대신"사용하지 마십시오. 브라우저는 HTML을 렌더링하고, 링크를 클릭 할 수있게합니다 (URL을 다른 wget 명령에 수동으로 복사해야하는 것과는 달리) 등. 문자 그대로 wget을 사람으로 사용하는 것 외에는 아무런 이점이 없습니다. 개인 정보 보호가 염려되는 경우 브라우저를 정리하는 방법은 백만 가지가 있습니다 (또는 사용자 인터페이스의 모든 유사성을 파괴하지 않고 베어 본을 얻으려면 Lynx와 같이 덜 기능적인 브라우저를 사용할 수 있습니다).

Wget은 주로 빠르고 저렴한 스크립트 가능 / 명령 줄 방식으로 파일을 다운로드 할 때 사용됩니다. 예를 들어, wget을 스크립트에 넣어 새 데이터로 자주 업데이트되는 웹 페이지를 다운로드하면 브라우저에서 실제로 사용할 수없는 것입니다. wget의 다양한 옵션을 사용하여 웹 사이트를 크롤링하고 자동으로 저장할 수 있습니다. 웹 사이트는 최소한 확장 프로그램이 없어도 할 수 없습니다.

간단히 말해, 브라우저는 인터넷을보고있는 사람을위한 응용 프로그램이고, wget은 HTTP를 통해 데이터를 이동하는 기계 및 고급 사용자를위한 도구입니다. 그들이하는 일 (웹 사이트에서 파일을 가져 오십시오)과 매우 유사하지만 사용법이 완전히 다릅니다.

wget으로 물건을 가져올 때 어떤 서버가 "보는지"에 관하여 : 모든 HTTP 클라이언트 (브라우저, wget, curl, 기타 유사한 응용 프로그램)는 브라우저를 설명하는 문자열 인 "사용자 에이전트"를 전송합니다. 어떤 브라우저 기능이 있는지 설명합니다. 사용자의 브라우저에 따라 다른 콘텐츠를 표시하는 데 사용할 수 있습니다 (예 : Google은 이미 Chrome을 사용하는 사용자에게 Chrome을 광고하지 않습니다). 일부 바보는 wget의 사용자 에이전트 문자열을 차단하여 고급 사용자 shenanigans를 차단하려고 시도하지만 Chrome 사용자 에이전트 문자열을 위조하여 해결할 수 있습니다. 더 자주 통계에 사용되므로 다른 브라우저의 인기도를 알 수 있으므로 가장 철저하게 테스트 할 브라우저를 알 수 있습니다.

wget의 크롤링 기능을 사용하면 서버는 대부분 알파벳순으로 많은 빠른 요청을 보게됩니다. 당신이 그들의 사이트를 긁어 모으는 것은 공짜 선물입니다. 사용자의 브라우징과는 완전히 다릅니다. 인간 사용자가 브라우저에서 요청하면 모든 페이지 요청 다음에 해당 페이지의 모든 이미지가 이어지고 약간의 지연이 발생하고 다른 임의의 페이지 (또는 명확한 목적을 가진 페이지 문자열)가 요청됩니다 .

다른 사람들이 언급했듯이 wget애드온, 쿠키 및 캐시와 함께 번들로 제공되지 않아 잠재적으로 더 안정적이고 안전하다는 이점이 있습니다. 그러나 브라우저와 wget실제로는 매우 다른이 정상 사용합니다.

wget컨텐츠를 표시하지 않고 컨텐츠를 검색하기위한 명령 행 유틸리티입니다. 파일 형식 (HTML, 이미지, 이진 등)을 포함하여 FTP, HTTP 및 HTTPS를 통해 모든 것을 검색하고 다운로드하는 데 사용할 수 있습니다.

서버의 경우, 인수를 사용하여 브라우저를 지정 user agent하지 않는 한 다른 차이점은 다릅니다 --user-agent. 그렇게하면 서버에 아무런 차이가 없습니다.

1) 사람이 아닌 스크립트로 시작된 다운로드

2) 별도의 페이지가 아닌 전체 사이트 (또는 사이트 조각)를 다운로드합니다. (Wget은 자동으로 링크를 따라갈 수 있습니다.)

Wget에는 서버 다운로드 요청 사이의 임의의 지연을 포함하여 서버가보고 생각할 수있는 것을 제어하는 ​​명령 행 옵션이 있습니다. 그러나 사이트 서버에 안티 봇 정책이있는 경우 수용 가능한 결과를 얻기 전에 많은 시간과 트래픽을 낭비하는 경우가 많습니다.

브라우저를 사용할 때 바람직하지 않은 애드온 및 악성 프로그램을 포함하여 브라우저 내에서 모든 것이 활성화되는 반면 wget은 물건을 다운로드하고 다른 작업을 수행하지 않는 간단한 명령입니다.

브라우저는 반드시 안전하지는 않지만 잠재적으로 안전합니다.

서버는 평소와 같이 다운로드 요청을 "참조"합니다.

브라우저는 활동을 기록 및 캐시 파일에 기록 할 수 있습니다.

wget에는 메모리 보유가 없습니다.

그것은 브라우저가 더 편리하고 NSA가 4.7.2-040702-generic지난 주에 다운로드 한 것을 알아 내도 신경 쓰지 않는다고 말했습니다 . 온라인 뱅킹 및 페이팔에 브라우저를 사용하는데 wget으로 다운로드 할 수있는 대부분의 파일보다 더 중요합니다.

원격 Ubuntu 설치를 사용하는 개발자는 종종 OS GUI를 설치하는 데 거의 도움이되지 않습니다. 이 '명령 줄'환경에서 wget은 웹에서 파일을 다운로드하기위한 필수 도구입니다.

터미널에서 브라우저를 실행할 수 있는지 확실하지 않습니다.