바람직하게 curl 또는 wget을 사용하여 페이지 리디렉션 후 최종 URL을 가져와야합니다.
예를 들어 http://google.com 은 http://www.google.com으로 리디렉션 될 수 있습니다 .
내용은 쉽게 구할 수 curl --max-redirs 10 http://google.com -L있지만 (예 :) 최종 URL (전의 경우 http://www.google.com ) 에만 관심이 있습니다.
Linux 내장 도구 만 사용하여이 작업을 수행 할 수 있습니까? (명령 줄 만 해당)
답변:
curl의 -w옵션 과 하위 변수 url_effective는 당신이 찾고있는 것입니다.
같은 것
curl -Ls -o /dev/null -w %{url_effective} http://google.com더 많은 정보
-L 리디렉션 따르기 -s 무음 모드. 아무것도 출력하지 마십시오 -o FILE 출력을 stdout 대신 <file>에 기록합니다. -w FORMAT 완료 후 출력 할 내용
더
명령이 "body"를 다운로드하지 않도록 -I하는 대문자 (대문자 i)도 추가 할 수 있습니다. 그러면 HEAD 메서드도 사용됩니다. 이는 질문에 포함 된 것이 아니고 서버가 수행하는 작업을 변경할 위험이 있습니다. 때때로 서버는 GET에 잘 응답하더라도 HEAD에 잘 응답하지 않습니다.
:-)
-I하지 않으면 실제로 파일을 다운로드합니다.
curl -A ...에는 예상 위치로 리디렉션하기 위해 스푸핑 된 사용자 에이전트가 필요합니다 .
감사합니다. 도움이되었습니다. 몇 가지 개선 작업을 수행하고이를 도우미 스크립트 "finalurl"에 래핑했습니다.
#!/bin/bash
curl $1 -s -L -I -o /dev/null -w '%{url_effective}'
-o 출력 /dev/null-I 실제로 다운로드하지 말고 최종 URL 만 확인하세요.-s 무음 모드, 진행률 표시 줄 없음이렇게하면 다음과 같은 다른 스크립트에서 명령을 호출 할 수 있습니다.
echo `finalurl http://someurl/`
finalurl() { curl --silent --location --head --output /dev/null --write-out '%{url_effective}' -- "$@"; }
다른 옵션으로 :
$ curl -i http://google.com
HTTP/1.1 301 Moved Permanently
Location: http://www.google.com/
Content-Type: text/html; charset=UTF-8
Date: Sat, 19 Jun 2010 04:15:10 GMT
Expires: Mon, 19 Jul 2010 04:15:10 GMT
Cache-Control: public, max-age=2592000
Server: gws
Content-Length: 219
X-XSS-Protection: 1; mode=block
<HTML><HEAD><meta http-equiv="content-type" content="text/html;charset=utf-8">
<TITLE>301 Moved</TITLE></HEAD><BODY>
<H1>301 Moved</H1>
The document has moved
<A HREF="http://www.google.com/">here</A>.
</BODY></HTML>
그러나 그것은 첫 번째 것을 지나치지 않습니다.
일반적으로 wget으로이 작업을 수행 할 수 있습니다. wget --content-disposition"url"을 추가하면 -O /dev/null실제로 파일을 저장하지 않습니다.
wget -O /dev/null --content-disposition example.com
-O /dev/null로만 교체하십시오 -O-. Better :wget -O- --content-disposition example.com
매개 변수 -L (--location)와 -I (--head)여전히 위치 URL에 대한 불필요한 HEAD 요청을 수행합니다.
리디렉션이 하나 이상 없을 것이라고 확신하는 경우 위치 추적을 비활성화하고 curl-variable % {redirect_url}을 사용하는 것이 좋습니다.
이 코드는 지정된 URL에 대해 하나의 HEAD 요청 만 수행하고 위치 헤더에서 redirect_url을 가져옵니다.
curl --head --silent --write-out "%{redirect_url}\n" --output /dev/null "https://""goo.gl/QeJeQ4"
all_videos_link.txt -YouTube로 리디렉션되는 goo.gl + bit.ly의 50 개 링크
time while read -r line; do
curl -kIsL -w "%{url_effective}\n" -o /dev/null $line
done < all_videos_link.txt
결과 :
real 1m40.832s
user 0m9.266s
sys 0m15.375s
time while read -r line; do
curl -kIs -w "%{redirect_url}\n" -o /dev/null $line
done < all_videos_link.txt
결과 :
real 0m51.037s
user 0m5.297s
sys 0m8.094s
curl로 수행하는 방법을 잘 모르겠지만 libwww-perl은 GET 별칭을 설치합니다.
$ GET -S -d -e http://google.com
GET http://google.com --> 301 Moved Permanently
GET http://www.google.com/ --> 302 Found
GET http://www.google.ca/ --> 200 OK
Cache-Control: private, max-age=0
Connection: close
Date: Sat, 19 Jun 2010 04:11:01 GMT
Server: gws
Content-Type: text/html; charset=ISO-8859-1
Expires: -1
Client-Date: Sat, 19 Jun 2010 04:11:01 GMT
Client-Peer: 74.125.155.105:80
Client-Response-Num: 1
Set-Cookie: PREF=ID=a1925ca9f8af11b9:TM=1276920661:LM=1276920661:S=ULFrHqOiFDDzDVFB; expires=Mon, 18-Jun-2012 04:11:01 GMT; path=/; domain=.google.ca
Title: Google
X-XSS-Protection: 1; mode=block
시도해 볼 수 있습니까?
#!/bin/bash
LOCATION=`curl -I 'http://your-domain.com/url/redirect?r=something&a=values-VALUES_FILES&e=zip' | perl -n -e '/^Location: (.*)$/ && print "$1\n"'`
echo "$LOCATION"
참고 : curl -I http://your-domain.com 명령을 실행할 때 다음 과 같은 명령에 작은 따옴표를 사용해야합니다. curl -I 'http://your-domain.com'