URL 인코딩을 해독하고 싶습니다.이 작업을 수행하기위한 기본 제공 도구가 sed있습니까? 아니면 누구나이 작업을 수행 할 코드를 제공 할 수 있습니까?

unix.stackexchange.com 및 인터넷을 통해 조금 검색 했지만 URL 인코딩을 디코딩하는 명령 줄 도구를 찾을 수 없었습니다.

내가하고 싶은 일은 단순히 txt파일을 편집하여 간단히 편집하는 것입니다.

• %21 된다 !
• %23 된다 #
• %24 된다 $
• %26 된다 &
• %27 된다 '
• %28 된다 (
• %29 된다 )

등등.

원하는 Python 행 라이너를 찾았습니다.

$ alias urldecode='python -c "import sys, urllib as ul; \
    print ul.unquote_plus(sys.argv[1])"'

$ alias urlencode='python -c "import sys, urllib as ul; \
    print ul.quote_plus(sys.argv[1])"'

예

$ urldecode 'q+werty%3D%2F%3B'
q werty=/;

$ urlencode 'q werty=/;'
q+werty%3D%2F%3B

참고 문헌

• 명령 행에서 Urlencode 및 urldecode

sed

다음 명령 행을 시도하십시오.

$ sed 's@+@ @g;s@%@\\x@g' file | xargs -0 printf "%b"

또는 다음을 사용하는 다음 대안 echo -e:

$ sed -e's/%\([0-9A-F][0-9A-F]\)/\\\\\x\1/g' file | xargs echo -e

^{참고 : 위 구문은 +공백으로 변환되지 않을 수 있으며 모든 줄 바꿈을 사용할 수 있습니다.}

별명으로 정의하여 쉘 rc 파일에 추가 할 수 있습니다 .

$ alias urldecode='sed "s@+@ @g;s@%@\\\\x@g" | xargs -0 printf "%b"'

그런 다음 필요할 때마다 다음을 수행하십시오.

$ echo "http%3A%2F%2Fwww" | urldecode
http://www

세게 때리다

스크립팅 할 때 다음 구문을 사용할 수 있습니다.

input="http%3A%2F%2Fwww"
decoded=$(printf '%b' "${input//%/\\x}")

^{그러나 위의 구문은 더하기 ( +)를 올바르게 처리하지 않으므로을 통해 공백으로 대체해야합니다 sed.}

다음 urlencode()과 같은 urldecode()기능을 사용할 수도 있습니다 .

urlencode() {
    # urlencode <string>
    local length="${#1}"
    for (( i = 0; i < length; i++ )); do
        local c="${1:i:1}"
        case $c in
            [a-zA-Z0-9.~_-]) printf "$c" ;;
            *) printf '%%%02X' "'$c" ;;
        esac
    done
}

urldecode() {
    # urldecode <string>

    local url_encoded="${1//+/ }"
    printf '%b' "${url_encoded//%/\\x}"
}

위 urldecode()의 데이터에는 백 슬래시가 없다고 가정합니다.

https://github.com/sixarm/urldecode.sh 에서 비슷한 Joel의 버전이 있습니다.

bash + xxd

xxd도구가있는 배쉬 기능 :

urlencode() {
  local length="${#1}"
  for (( i = 0; i < length; i++ )); do
    local c="${1:i:1}"
    case $c in
      [a-zA-Z0-9.~_-]) printf "$c" ;;
    *) printf "$c" | xxd -p -c1 | while read x;do printf "%%%s" "$x";done
  esac
done
}

에서 발견 cdown의 요지 파일 도에서 유래 .

PHP

PHP를 사용하여 다음 명령을 시도 할 수 있습니다.

$ echo oil+and+gas | php -r 'echo urldecode(fgets(STDIN));' // Or: php://stdin
oil and gas

또는 그냥 :

php -r 'echo urldecode("oil+and+gas");'

-R여러 줄 입력에 사용 합니다.

펄

Perl에서는을 사용할 수 있습니다 URI::Escape.

decoded_url=$(perl -MURI::Escape -e 'print uri_unescape($ARGV[0])' "$encoded_url")

또는 파일을 처리하려면

perl -i -MURI::Escape -e 'print uri_unescape($ARGV[0])' file

어 wk

Anon 솔루션을 사용해보십시오 .

awk -niord '{printf RT?$0chr("0x"substr(RT,2)):$0}' RS=%..

^{참고 : 매개 변수 -n는 GNU에만 해당됩니다 awk.}

참조 : 텍스트를 URLDECODE하는 AWK printf의 사용 .

파일 이름 디코딩

파일 이름에서 URL 인코딩을 제거해야하는 경우 deurlname도구 renameutils(예 :)를 사용 deurlname *.*하십시오.

또한보십시오:

• 배치로 다운로드 할 때 URI 파일 이름을 해독 할 수 있습니까?
• 파일 이름에서 URI 인코딩을 제거하는 방법은 무엇입니까?

관련 :

• 쉘에서 URL 인코딩 된 문자열을 디코딩하는 방법은 무엇입니까? 그래서
• 명령 행에서 퍼센트로 인코딩 된 문자열을 어떻게 인코딩하고 디코딩 할 수 있습니까? Ask Ubuntu에서

파이썬 표준 라이브러리에는 내장 함수가 있습니다. 파이썬 2에서는 urllib.unquote입니다.

decoded_url=$(python2 -c 'import sys, urllib; print urllib.unquote(sys.argv[1])' "$encoded_url")

또는 파일을 처리하려면

python2 -c 'import sys, urllib; print urllib.unquote(sys.stdin.read())' <file >file.new &&
mv -f file.new file

파이썬 3에서는 urllib.parse.unquote입니다.

decoded_url=$(python3 -c 'import sys, urllib.parse; print(urllib.parse.unquote(sys.argv[1]))' "$encoded_url")

또는 파일을 처리하려면

python3 -c 'import sys, urllib; print(urllib.parse.unquote(sys.stdin.read()))' <file >file.new &&
mv -f file.new file

Perl에서는을 사용할 수 있습니다 URI::Escape.

decoded_url=$(perl -MURI::Escape -e 'print uri_unescape($ARGV[0])' "$encoded_url")

또는 파일을 처리하려면

perl -i -MURI::Escape -e 'print uri_unescape($ARGV[0])' file

POSIX 휴대용 도구를 고수하려면 16 진수를 구문 분석하지 않는 유일한 심각한 후보가 awk이기 때문에 어색합니다. BusyBox를 포함한 일반적인 awk 구현의 예제는 awk printf를 사용하여 텍스트를 URL 디코딩하는 방법을 참조하십시오 .

간단한 sed명령을 사용하려면 다음을 사용하십시오.

sed -e 's/%21/!/g' -e 's/%23/#/g' -e 's/%24/$/g' -e 's/%26/\&/g' -e "s/%27/'/g" -e 's/%28/(/g' -e 's/%29/)/g'

그러나 다음과 같은 스크립트를 작성하는 것이 더 편리합니다 sedscript.

s/%21/!/g
s/%23/#/g
s/%24/$/g
s/%26/\&/g
s/%27/'/g
s/%28/(/g
s/%29/)/g

그런 다음 sed -f sedscript < old > new원하는대로 출력합니다.

쉽게, 명령 urlencode을 gridsite-clients패키지 에서 직접 사용할 수 있습니다 ( sudo apt-get install gridsite-clientsUbuntu / Debian 시스템에서).

이름

urlencode-문자열을 URL 인코딩 형식으로 변환

개요

urlencode [-m|-d] string [string ...]

기술

urlencode RFC 1738에 따라 문자열을 인코딩합니다.

즉, 자 A- Z a- z 0- 9 . _와 -수정되지 않은 통과하지만, 다른 모든 문자는 HH가 두 자리 대문자 진수 ASCII 표현입니다 % HH로 표시됩니다. 예를 들어 URL http://www.gridpp.ac.uk/은http%3A%2F%2Fwww.gridpp.ac.uk%2F

urlencode명령 행에 제공된 모든 문자열에서 각 문자를 변환합니다. 여러 개의 문자열이 제공되면 변환 전에 공백을 분리하여 연결합니다.

옵션

-m
전체 변환 대신 AZ az 0-9 인 GridSite "mild URL encoding"을 수행하십시오. =-_ @ 및 /는 수정되지 않은 상태로 전달됩니다. 이렇게하면 사람이 읽을 수있는 문자열이 약간 더 많아 지지만 슬래시로 암시 된 디렉토리를 만들거나 시뮬레이션 할 수 있도록 응용 프로그램을 준비해야합니다.
-d
RFC 1738에 따라 인코딩 대신 URL 디코딩 +을 수행하십시오. 공백으로 변환 되는 예외를 제외하고 % HH 및 % hh 문자열은 변환되고 다른 문자는 수정되지 않은 채 전달됩니다 .

URL 디코딩 예 :

$ urlencode -d "http%3a%2f%2funix.stackexchange.com%2f"
http://unix.stackexchange.com/

$ urlencode -d "Example: %21, %22, . . . , %29 etc"
Example: !, ", . . . , ) etc

펄 원 라이너 :

$ perl -pe 's/\%(\w\w)/chr hex $1/ge'

예:

$ echo '%21%22' |  perl -pe 's/\%(\w\w)/chr hex $1/ge'
!"

GNU awk

#!/usr/bin/awk -fn
@include "ord"
BEGIN {
  RS = "%.."
}
{
  printf RT ? $0 chr("0x" substr(RT, 2)) : $0
}

또는

#!/bin/sh
awk -niord '{printf RT?$0chr("0x"substr(RT,2)):$0}' RS=%..

bash에서 퍼센트 인코딩 된 파일 URL을 로컬 파일로 변환

이 스레드 에서 가장 좋은 답변에 대해서는 언급 할 수 없으므로 여기에 있습니다.

개인적으로 URL 인코딩 및 디코딩에 다음 별칭을 사용합니다.

alias urlencode='python -c "import urllib, sys; print urllib.quote(  sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1])"'

alias urldecode='python -c "import urllib, sys; print urllib.unquote(sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1])"'

두 명령은 데이터를 변환 하거나 명령 줄 인수로 전달 하거나 표준 입력 에서 읽습니다. 두 줄 모두 명령 줄 인수 (빈 항목 포함)가 있는지 확인하고 처리하거나 표준 입력을 읽지 않기 때문입니다.

2017-05-23 업데이트 (슬래시 인코딩)

@Bevor의 의견에 대한 답변.

슬래시도 인코딩 해야하는 경우 인용 함수에 빈 두 번째 인수를 추가하면 슬래시도 인코딩됩니다.

따라서 bash의 urlencode 별칭 은 다음과 같습니다.

alias urlencode='python -c "import urllib, sys; print urllib.quote(sys.argv[1] if len(sys.argv) > 1 else sys.stdin.read()[0:-1], \"\")"'

예

$ urlencode "Проба пера/Pen test"
%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test

$ echo "Проба пера/Pen test" | urlencode
%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test

$ urldecode %D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test
Проба пера/Pen test

$ echo "%D0%9F%D1%80%D0%BE%D0%B1%D0%B0%20%D0%BF%D0%B5%D1%80%D0%B0%2FPen%20test" | urldecode
Проба пера/Pen test

$ urlencode "Проба пера/Pen test" | urldecode
Проба пера/Pen test

$ echo "Проба пера/Pen test" | urlencode | urldecode
Проба пера/Pen test

그리고 또 다른 Perl 접근법 :

#!/usr/bin/env perl
use URI::Encode;
my $uri     = URI::Encode->new( { encode_reserved => 0 } );
while (<>) {

    print $uri->decode($_)
}

URI::Encode모듈 을 설치해야 합니다. 데비안에서는 간단히 실행할 수있었습니다.

sudo apt-get install liburi-encode-perl

그런 다음 위의 스크립트를 다음을 포함하는 테스트 파일에서 실행했습니다.

http://foo%21asd%23asd%24%26asd%27asd%28asd%29

결과는 다음과 같습니다 (스크립트를으로 저장했습니다 foo.pl).

$ ./foo.pl
http://foo!asd#asd$&asd'asd(asd)

(대부분 Posix) 쉘의 답변 :

$ input='%21%22'
$ printf "`printf "%s\n" "$input" | sed -e 's/+/ /g' -e 's/%\(..\)/\\\\x\1/g'`"
!"

설명:

• -e 's/+/ /g+URL 인코딩 표준에 설명 된대로 공간에서 각각 변환
• -e 's/%\(..\)/\\\\x\1/g'%XX에서 각각 을 변환합니다 \\xXX. \규칙을 인용하면 그 중 하나 가 제거됩니다.
• 내부 printf는 sed에 입력을 전달하기 위해 존재합니다. 다른 메커니즘으로 교체 할 수 있습니다
• 외부 printf는 \\xXX시퀀스를 해석 하고 결과를 표시합니다.

편집하다:

때문에 %항상 URL을 해석하고해야한다,이 대답을 단순화 할 수 있습니다. 또한 백 따옴표xargs 대신 사용하는 것이 더 깨끗하다고 ​​생각합니다 (@josch 덕분에).

$ input='%21%22+%25'
$ printf "%s\n" "$input" | sed -e 's/+/ /g; s/%/\\x/g' | xargs -0 printf
!" %

불행히도 (@josch에서 알 수 있듯이) \x이스케이프 시퀀스는 Posix에 정의되어 있지 않으므로 Posix를 준수하는 솔루션 은 없습니다.

쉘 전용 :

$ x='a%20%25%e3%81%82';printf "${x//\%/\\x}"
a %あ

대시로 시작하는 인수가 옵션으로 처리되지 않도록 --또는 추가하십시오 %b.

zsh ${x//%/a}에서는 a끝에 추가 하지만로 ${x//\%/a}대체 %됩니다 a.

다음은 이전에 작성한 다른 스크립트의 관련 비트입니다 ( 다른 답변의 youtube.com 다운로드 스크립트 에서 뻔뻔스럽게 훔쳤습니다 ) . 그것은 사용 sed하고 쉘은 작업 URLDECODE을 구축 할 수 있습니다.

set \! \" \# \$ \% \& \' \( \) \* \ \+ \, \/ \: \; \= \? \@ \[ \]
for c do set "$@" "'$c" "$c"; shift; done
curl -s "$url" | sed 's/\\u0026/\&/g;'"$(
    printf 's/%%%X/\\%s/g;' "$@"
)"

나는 그것이 포괄적이라는 것을 맹세하지 않을 것입니다-실제로 나는 그것을 의심합니다-그러나 확실히 YouTube를 충분히 처리했습니다.

정확하게 수행하는 BASH 함수는 다음과 같습니다.

function urldecode() {
        echo -ne $(echo -n "$1" | sed -E "s/%/\\\\x/g")
}

루비를 사용하는 또 다른 솔루션 (허용 된 파이썬 답변이 작동하지 않았습니다)

alias urldecode='ruby -e "require \"cgi\"; puts CGI.unescape(ARGV[0])"'
alias urlencode='ruby -e "require \"cgi\"; puts CGI.escape(ARGV[0])"'

예

$ urldecode 'q+werty%3D%2F%3B'
q werty=/;

$ urlencode 'q werty=/;'
q+werty%3D%2F%3B