유닉스 도구로 JSON 파싱

curl 요청에서 반환 된 JSON을 구문 분석하려고합니다.

curl 'http://twitter.com/users/username.json' |
    sed -e 's/[{}]/''/g' | 
    awk -v k="text" '{n=split($0,a,","); for (i=1; i<=n; i++) print a[i]}'

위의 예는 JSON을 필드로 분할합니다.

% ...
"geo_enabled":false
"friends_count":245
"profile_text_color":"000000"
"status":"in_reply_to_screen_name":null
"source":"web"
"truncated":false
"text":"My status"
"favorited":false
% ...

특정 필드를 인쇄하려면 어떻게해야합니까 (로 표시 -v k=text)?

명령 줄에서 JSON을 조작하기 위해 특별히 설계된 여러 가지 도구가 있으며 다음과 같이 Awk로 수행하는 것보다 훨씬 쉽고 안정적입니다 jq.

curl -s 'https://api.github.com/users/lambda' | jq -r '.name'

모듈을 사용하는 Python과 같이 시스템에 이미 설치되어있는 도구를 사용하여이 작업을 수행 할 수도 있습니다json 할 수 있으므로 적절한 JSON 파서의 이점을 유지하면서 추가 종속성을 피하십시오. 다음은 원래 JSON을 인코딩해야하며 최신 터미널에서도 사용하는 UTF-8을 사용한다고 가정합니다.

파이썬 3 :

curl -s 'https://api.github.com/users/lambda' | \
    python3 -c "import sys, json; print(json.load(sys.stdin)['name'])"

파이썬 2 :

export PYTHONIOENCODING=utf8
curl -s 'https://api.github.com/users/lambda' | \
    python2 -c "import sys, json; print json.load(sys.stdin)['name']"

역사 노트

이 답변은 원래 jsawk를 권장 했지만 여전히 작동해야하지만보다 사용하기가 다소 번거롭고 jqPython 인터프리터보다 덜 일반적인 독립형 JavaScript 인터프리터가 설치되어 있으므로 위의 답변이 바람직합니다.

curl -s 'https://api.github.com/users/lambda' | jsawk -a 'return this.name'

이 답변은 원래 질문에서 Twitter API를 사용했지만 API가 더 이상 작동하지 않아 테스트 할 예제를 복사하기가 어려워지고 새로운 Twitter API에는 API 키가 필요하므로 GitHub API를 사용하도록 전환했습니다. API 키없이 쉽게 사용할 수 있습니다. 원래 질문에 대한 첫 번째 답변은 다음과 같습니다.

curl 'http://twitter.com/users/username.json' | jq -r '.text'

특정 키의 값을 빠르게 추출하기 위해 개인적으로 "grep -o"를 사용하는 것이 좋습니다. 정규식 일치 만 반환합니다. 예를 들어, 트윗에서 "text"필드를 가져 오려면 다음과 같이하십시오.

grep -Po '"text":.*?[^\\]",' tweets.json

이 정규식은 생각보다 강력합니다. 예를 들어, 쉼표가 포함 된 문자열과 따옴표로 이스케이프 된 문자열을 처리합니다. 나는 조금 더 많은 노력을 기울이면 원자 값이라면 실제로 값을 추출 할 수있는 것을 만들 수 있다고 생각합니다. (네 스팅이있는 경우 정규식은 물론 할 수 없습니다.)

그리고 문자열의 원래 이스케이프를 유지하면서 더 깨끗하게하려면 다음과 같이 사용할 수 있습니다 | perl -pe 's/"text"://; s/^"//; s/",$//'. ( 이 분석 을 위해이 작업을 수행했습니다 .)

주장하는 모든 싫어하는 사람들에게는 실제 JSON 파서를 사용해야합니다. 그렇습니다. 정확성에 필수적이지만

1. 데이터 정리 버그를 확인하기 위해 값을 세거나 데이터에 대한 일반적인 느낌을 얻는 것과 같이 정말 빠른 분석을 수행하려면 명령 줄에서 무언가를 제거하는 것이 더 빠릅니다. 스크립트를 작성하기 위해 편집기를 열면주의가 산만 해집니다.
2. grep -ojson적어도 tweets (각각 2KB)에 대해이 작업을 수행 할 때 Python 표준 라이브러리 보다 수십 배 빠릅니다 . 이것이 json느리기 때문인지 확실하지 않습니다 (언젠가 yajl과 비교해야합니다). 그러나 원칙적으로 정규 표현식은 재귀를 지원 해야하는 파서 대신 유한 상태이기 때문에 훨씬 빨라야하며,이 경우 신경 쓰지 않는 구조에 대해 많은 CPU 빌드 트리를 소비합니다. (누군가 적절한 (심도 제한) JSON 파싱을 수행하는 유한 상태 변환기를 작성한 경우 환상적입니다. 그 동안 우리는 "grep -o"를 갖습니다.

유지 관리 가능한 코드를 작성하기 위해 항상 실제 파싱 라이브러리를 사용합니다. 나는 jsawk를 시도하지 않았다 않았지만 제대로 작동하면 포인트 1을 해결합니다.

마지막으로, wackier, 해결책 : Python을 사용 json하고 원하는 키를 탭으로 구분 된 열로 추출 하는 스크립트를 작성했습니다 . 그런 다음 래퍼를 통해 파이프 awk를 열에 명명 된 액세스를 허용합니다. 여기에 json2tsv 및 tsvawk 스크립트가 있습니다. 따라서이 예에서는 다음과 같습니다.

json2tsv id text < tweets.json | tsvawk '{print "tweet " $id " is: " $text}'

이 접근법은 # 2를 다루지 않고 단일 Python 스크립트보다 비효율적이며 약간 취합니다. 문자열 값으로 줄 바꿈과 탭을 정규화하여 awk의 필드 / 레코드로 구분 된 세계관을 잘 활용합니다. 그러나 명령 줄에보다 정확한 정확성을 유지할 수 있습니다 grep -o.

여기에있는 몇 가지 권장 사항 (주석에서 언급)이 Python의 사용을 제안했기 때문에 예제를 찾지 못하는 것에 실망했습니다.

따라서 일부 JSON 데이터에서 단일 값을 얻는 하나의 라이너가 있습니다. 데이터를 (어딘가에서) 파이핑한다고 가정하므로 스크립팅 컨텍스트에서 유용해야합니다.

echo '{"hostname":"test","domainname":"example.com"}' | python -c 'import json,sys;obj=json.load(sys.stdin);print obj["hostname"]'

MartinR과 Boecko의 리드에 따르면 :

$ curl -s 'http://twitter.com/users/username.json' | python -mjson.tool

그렇게하면 매우 grep 친화적 인 출력을 얻을 수 있습니다. 매우 편리합니다 :

$ curl -s 'http://twitter.com/users/username.json' | python -mjson.tool | grep my_key

당신은 단지 할 수 있습니다 다운로드 jq플랫폼에 대한 바이너리 및 실행 ( chmod +x jq) :

$ curl 'https://twitter.com/users/username.json' | ./jq -r '.name'

"name"json 객체에서 속성을 추출 합니다.

jq홈페이지 는 sedJSON 데이터 와 같다고 말합니다 .

Node.js 사용

시스템에 마디설치되어 있으면 -pprint 를 사용하고 -e스크립트 플래그를 평가 JSON.parse하여 필요한 값을 가져올 수 있습니다.

JSON 문자열을 사용하고 { "foo": "bar" }"foo"값을 가져 오는 간단한 예 :

$ node -pe 'JSON.parse(process.argv[1]).foo' '{ "foo": "bar" }'
bar

우리는 cat다른 유틸리티에 액세스 할 수 있기 때문에 파일에 사용할 수 있습니다.

$ node -pe 'JSON.parse(process.argv[1]).foo' "$(cat foobar.json)"
bar

또는 JSON이 포함 된 URL과 같은 다른 형식 :

$ node -pe 'JSON.parse(process.argv[1]).name' "$(curl -s https://api.github.com/users/trevorsenior)"
Trevor Senior

awk를 사용 하는 대신 Python의 JSON 지원을 사용하십시오 !

이 같은:

curl -s http://twitter.com/users/username.json | \
    python -c "import json,sys;obj=json.load(sys.stdin);print obj['name'];"

당신은 발로 자신을 쏘는 방법을 물었고 나는 탄약을 제공하기 위해 여기 있습니다.

curl -s 'http://twitter.com/users/username.json' | sed -e 's/[{}]/''/g' | awk -v RS=',"' -F: '/^text/ {print $2}'

tr -d '{}'대신에 사용할 수 있습니다 sed. 그러나 그것들을 완전히 없애면 원하는 효과가있는 것 같습니다.

외부 따옴표를 제거하려면 위의 결과를 통해 파이프 sed 's/\(^"\|"$\)//g'

다른 사람들이 충분한 경보를 울렸다 고 생각합니다. 구급차를 부르기 위해 휴대 전화로 대기하겠습니다. 준비되면 발사하십시오.

파이썬에서 배쉬 사용하기

.bash_rc 파일에서 bash 함수 만들기

function getJsonVal () { 
    python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1))"; 
}

그때

$ curl 'http://twitter.com/users/username.json' | getJsonVal "['text']"
My status
$ 

다음은 동일한 기능이지만 오류 검사 기능이 있습니다.

function getJsonVal() {
   if [ \( $# -ne 1 \) -o \( -t 0 \) ]; then
       cat <<EOF
Usage: getJsonVal 'key' < /tmp/
 -- or -- 
 cat /tmp/input | getJsonVal 'key'
EOF
       return;
   fi;
   python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1))";
}

여기서 $ # -ne 1은 최소한 1 개의 입력을, -t 0은 파이프에서 리디렉션하는지 확인합니다.

이 구현의 좋은 점은 중첩 된 json 값에 액세스하여 json을 반환 할 수 있다는 것입니다! =)

예:

$ echo '{"foo": {"bar": "baz", "a": [1,2,3]}}' |  getJsonVal "['foo']['a'][1]"
2

정말 화려하고 싶다면 데이터를 인쇄 할 수 있습니다.

function getJsonVal () { 
    python -c "import json,sys;sys.stdout.write(json.dumps(json.load(sys.stdin)$1, sort_keys=True, indent=4))"; 
}

$ echo '{"foo": {"bar": "baz", "a": [1,2,3]}}' |  getJsonVal "['foo']"
{
    "a": [
        1, 
        2, 
        3
    ], 
    "bar": "baz"
}

틱틱 은 bash로 작성된 JSON 파서입니다 (<250 줄의 코드)

여기에 그의 기사에서 저자의 SNIPPIT의 배쉬는 JSON을 지원하는 세계를 상상해 :

#!/bin/bash
. ticktick.sh

``  
  people = { 
    "Writers": [
      "Rod Serling",
      "Charles Beaumont",
      "Richard Matheson"
    ],  
    "Cast": {
      "Rod Serling": { "Episodes": 156 },
      "Martin Landau": { "Episodes": 2 },
      "William Shatner": { "Episodes": 2 } 
    }   
  }   
``  

function printDirectors() {
  echo "  The ``people.Directors.length()`` Directors are:"

  for director in ``people.Directors.items()``; do
    printf "    - %s\n" ${!director}
  done
}   

`` people.Directors = [ "John Brahm", "Douglas Heyes" ] ``
printDirectors

newDirector="Lamont Johnson"
`` people.Directors.push($newDirector) ``
printDirectors

echo "Shifted: "``people.Directors.shift()``
printDirectors

echo "Popped: "``people.Directors.pop()``
printDirectors

PHP CLI로 JSON 파싱

논란의 여지가 있지만 우선 순위가 지배적이기 때문에이 질문은 신뢰할 수 있고 충실한 PHP에 대한 언급 없이는 불완전한 상태로 남아 있습니다.

동일한 예제 JSON을 사용하지만 변수를 할당하여 모호함을 줄입니다.

$ export JSON='{"hostname":"test","domainname":"example.com"}'

이제 file_get_contents 및 php : // stdin 스트림 래퍼를 사용 하여 PHP를 개선하십시오 .

$ echo $JSON|php -r 'echo json_decode(file_get_contents("php://stdin"))->hostname;'

CLI 상수 STDIN 에서 fgets 및 이미 열린 스트림을 사용하여 지적한대로 .

$ echo $JSON|php -r 'echo json_decode(fgets(STDIN))->hostname;'

조이!

기본 배시 버전 : 백 슬래시 (\) 및 따옴표 ( ") 와도 잘 작동합니다.

function parse_json()
{
    echo $1 | \
    sed -e 's/[{}]/''/g' | \
    sed -e 's/", "/'\",\"'/g' | \
    sed -e 's/" ,"/'\",\"'/g' | \
    sed -e 's/" , "/'\",\"'/g' | \
    sed -e 's/","/'\"---SEPERATOR---\"'/g' | \
    awk -F=':' -v RS='---SEPERATOR---' "\$1~/\"$2\"/ {print}" | \
    sed -e "s/\"$2\"://" | \
    tr -d "\n\t" | \
    sed -e 's/\\"/"/g' | \
    sed -e 's/\\\\/\\/g' | \
    sed -e 's/^[ \t]*//g' | \
    sed -e 's/^"//'  -e 's/"$//'
}


parse_json '{"username":"john, doe","email":"john@doe.com"}' username
parse_json '{"username":"john doe","email":"john@doe.com"}' email

--- outputs ---

john, doe
johh@doe.com

Ruby 및 http://flori.github.com/json/ 을 사용하는 버전

$ < file.json ruby -e "require 'rubygems'; require 'json'; puts JSON.pretty_generate(JSON[STDIN.read]);"

더 간결하게 :

$ < file.json ruby -r rubygems -r json -e "puts JSON.pretty_generate(JSON[STDIN.read]);"

불행히도 사용하는 최상위 투표 답변 은 내 시나리오에서 작동하지 않는 전체 일치를 grep반환 하지만 JSON 형식이 일정하게 유지되는 경우 lookbehind 및 lookahead 를 사용하여 원하는 값만 추출 할 수 있습니다 .

# echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="FooBar":")(.*?)(?=",)'
he\"llo
# echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="TotalPages":)(.*?)(?=,)'
33
#  echo '{"TotalPages":33,"FooBar":"he\"llo","anotherValue":100}' | grep -Po '(?<="anotherValue":)(.*?)(?=})'
100

누군가가 중첩 구조가 필요없는 간단한 JSON 객체에서 값을 추출하려는 경우 bash를 떠나지 않고도 정규 표현식을 사용할 수 있습니다.

JSON 표준을 기반으로 bash 정규 표현식을 사용하여 정의한 함수는 다음과 같습니다 .

function json_extract() {
  local key=$1
  local json=$2

  local string_regex='"([^"\]|\\.)*"'
  local number_regex='-?(0|[1-9][0-9]*)(\.[0-9]+)?([eE][+-]?[0-9]+)?'
  local value_regex="${string_regex}|${number_regex}|true|false|null"
  local pair_regex="\"${key}\"[[:space:]]*:[[:space:]]*(${value_regex})"

  if [[ ${json} =~ ${pair_regex} ]]; then
    echo $(sed 's/^"\|"$//g' <<< "${BASH_REMATCH[1]}")
  else
    return 1
  fi
}

주의 사항 : 개체 및 배열은 값으로 지원되지 않지만 표준에 정의 된 다른 모든 값 유형은 지원됩니다. 또한 키 이름이 정확히 동일한 한 JSON 문서의 깊이에 관계없이 쌍이 일치합니다.

OP의 예를 사용하면 :

$ json_extract text "$(curl 'http://twitter.com/users/username.json')"
My status

$ json_extract friends_count "$(curl 'http://twitter.com/users/username.json')"
245

JSON 문자열에서 속성을 얻는 쉬운 방법이 있습니다. package.json파일을 예로 사용하여 다음을 시도하십시오.

#!/usr/bin/env bash
my_val="$(json=$(<package.json) node -pe "JSON.parse(process.env.json)['version']")"

process.env악의적 인 내용이 인용을 벗어나 코드로 파싱 될 위험없이 파일 내용을 node.js에 문자열로 가져 오기 때문에 사용 하고 있습니다.

Powershell이 ​​크로스 플랫폼이기 때문에 나는 그것이 매우 직관적이고 매우 간단하다는 것을 알기 때문에 거기에서 나갈 것이라고 생각했습니다.

curl -s 'https://api.github.com/users/lambda' | ConvertFrom-Json 

ConvertFrom-Json은 JSON을 Powershell 사용자 정의 개체로 변환하므로 해당 시점부터 속성을 쉽게 사용할 수 있습니다. 예를 들어 'id'속성 만 원한다면 다음과 같이하면됩니다.

curl -s 'https://api.github.com/users/lambda' | ConvertFrom-Json | select -ExpandProperty id

Bash 내에서 모든 것을 불러내려면 다음과 같이 호출해야합니다.

powershell 'curl -s "https://api.github.com/users/lambda" | ConvertFrom-Json'

물론 컬없이 할 수있는 순수한 Powershell 방법이 있습니다.

Invoke-WebRequest 'https://api.github.com/users/lambda' | select -ExpandProperty Content | ConvertFrom-Json

마지막으로 커스텀 객체를 JSON으로 쉽게 변환하는 'ConvertTo-Json'도 있습니다. 예를 들면 다음과 같습니다.

(New-Object PsObject -Property @{ Name = "Tester"; SomeList = @('one','two','three')}) | ConvertTo-Json

다음과 같은 멋진 JSON이 생성됩니다.

{
"Name":  "Tester",
"SomeList":  [
                 "one",
                 "two",
                 "three"
             ]

}

분명히 유닉스에서 Windows 셸을 사용하는 것은 다소 희생적이지만 Powershell은 실제로 몇 가지 장점이 있으며 JSON과 XML을 파싱하는 것이 그 중 일부입니다. 크로스 플랫폼 버전의 GitHub 페이지 https://github.com/PowerShell/PowerShell

xml 파일을 가진 사람이 내 Xidel 을보고 싶을 수도 있습니다 . 이것은 의존성이없는 CLI JSONiq 프로세서입니다. (즉, XML 또는 json 처리를위한 XQuery도 지원합니다)

문제의 예는 다음과 같습니다.

 xidel -e 'json("http://twitter.com/users/username.json")("name")'

또는 내 자신의 비표준 확장 구문으로 :

 xidel -e 'json("http://twitter.com/users/username.json").name'

나는 여기에 어떤 대답도 사용할 수 없습니다. 사용 가능한 jq, 쉘 배열, 선언 없음, grep -P, lookbehind 및 lookahead, Python, Perl, Ruby, No-Bash조차도 없습니다. 남은 대답은 단순히 잘 작동하지 않습니다. JavaScript는 친숙하게 들리지만 주석은 Nescaffe라고 말합니다.

그러나 모뎀의 json 형식 응답에서 많은 변수를 얻는 것이 매우 중요합니다. 내 라우터에서 BusyBox를 매우 잘린 채로 sh에서하고 있습니다! awk 만 사용하는 데 아무런 문제가 없습니다. 구분 기호를 설정하고 데이터를 읽으십시오. 단일 변수의 경우 그게 전부입니다!

awk 'BEGIN { FS="\""; RS="," }; { if ($2 == "login") {print $4} }' test.json

배열이 없다는 것을 기억하십니까? 쉘 스크립트에서 필요한 11 개의 변수에 awk 구문 분석 된 데이터를 할당해야했습니다. 내가 어디를 보더라도 그것은 불가능한 사명이라고 말했다. 그것도 문제 없습니다.

내 솔루션은 간단합니다. 이 코드는 다음과 같습니다 : 1) 질문에서 .json 파일을 구문 분석하고 (실제로 가장 많이 답변 된 답변에서 작업 데이터 샘플을 빌려 왔습니다) 인용 된 데이터를 선택하고 2) awk에서 무료 명명 된 쉘을 할당하여 쉘 변수를 만듭니다. 변수 이름.

eval $( curl -s 'https://api.github.com/users/lambda' | 
awk ' BEGIN { FS="\""; RS="," };
{
    if ($2 == "login") { print "Login=\""$4"\"" }
    if ($2 == "name") { print "Name=\""$4"\"" }
    if ($2 == "updated_at") { print "Updated=\""$4"\"" }
}' )
echo "$Login, $Name, $Updated"

빈칸에 문제가 없습니다. 필자는 동일한 명령으로 긴 단일 행 출력을 구문 분석합니다. eval이 사용되므로이 솔루션은 신뢰할 수있는 데이터에만 적합합니다. 인용되지 않은 데이터를 집어 올리는 것은 간단합니다. 많은 수의 변수의 경우 else if를 사용하여 한계 속도 이득을 얻을 수 있습니다. 배열이 없다는 것은 명백하게 : 여분의 조정없이 여러 개의 레코드가 없음을 의미합니다. 그러나 어레이를 사용할 수있는 경우이 솔루션을 적용하는 것은 간단한 작업입니다.

@maikel sed 답변은 거의 작동합니다 (하지만 댓글을 달 수는 없습니다). 내 형식이 좋은 데이터의 경우 작동합니다. 여기에 사용 된 예제와별로 다르지 않습니다 (따옴표가 누락되어 버립니다). 복잡하고 수정하기가 어렵습니다. 또한 11 개의 변수를 추출하기 위해 11 번의 호출을하는 것을 좋아하지 않습니다. 왜? 9 개의 변수를 추출하는 100 개의 루프 시간을 정했습니다 .sed 함수는 48.99 초가 걸리고 솔루션은 0.91 초가 걸렸습니다! 공정하지 않아? 9 가지 변수의 단일 추출 만 수행 : 0.51 대 0.02 초

당신은 이런 식으로 시도 할 수 있습니다-

curl -s 'http://twitter.com/users/jaypalsingh.json' | 
awk -F=":" -v RS="," '$1~/"text"/ {print}'

당신은 사용할 수 있습니다 jshon:

curl 'http://twitter.com/users/username.json' | jshon -e text

awk로 할 수있는 한 가지 방법이 있습니다.

curl -sL 'http://twitter.com/users/username.json' | awk -F"," -v k="text" '{
    gsub(/{|}/,"")
    for(i=1;i<=NF;i++){
        if ( $i ~ k ){
            print $i
        }
    }
}'

더 복잡한 JSON 구문 분석을 위해 python jsonpath 모듈 (Stefan Goessner 제공)을 사용하는 것이 좋습니다.

1. 설치-

sudo easy_install -U jsonpath

1. 사용해 -

(에서 예 file.json http://goessner.net/articles/JsonPath ) -

{ "store": {
    "book": [ 
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}

구문 분석 (가격이 <10 인 모든 책 제목 추출)-

$ cat file.json | python -c "import sys, json, jsonpath; print '\n'.join(jsonpath.jsonpath(json.load(sys.stdin), 'store.book[?(@.price < 10)].title'))"

출력합니다-

Sayings of the Century
Moby Dick

참고 : 위 명령 줄에는 오류 검사가 포함되어 있지 않습니다. 오류 검사가 가능한 완전한 솔루션을 얻으려면 작은 파이썬 스크립트를 만들고 try-except로 코드를 래핑해야합니다.

PHP 가있는 경우 :

php -r 'var_export(json_decode(`curl http://twitter.com/users/username.json`, 1));'

예를 들어
json에 국가 ISO 코드 ( http://country.io/iso3.json) 를 제공하는 리소스가 있으며 curl이있는 쉘에서 쉽게 확인할 수 있습니다.

curl http://country.io/iso3.json

그러나 그것은 매우 편리하지 않고 읽을 수 없으며, json을 더 잘 구문 분석하고 읽을 수있는 구조를 봅니다.

php -r 'var_export(json_decode(`curl http://country.io/iso3.json`, 1));'

이 코드는 다음과 같이 인쇄됩니다.

array (
  'BD' => 'BGD',
  'BE' => 'BEL',
  'BF' => 'BFA',
  'BG' => 'BGR',
  'BA' => 'BIH',
  'BB' => 'BRB',
  'WF' => 'WLF',
  'BL' => 'BLM',
  ...

중첩 배열이 있으면이 출력이 훨씬 좋아 보입니다 ...

이것이 도움이되기를 바랍니다 ...

매우 간단하지만 강력한도있다 JSON CLI의 처리 도구 FX는 - https://github.com/antonmedv/fx

예

익명 기능 사용 :

$ echo '{"key": "value"}' | fx "x => x.key"
value

익명 함수 param => ...를 전달하지 않으면 코드가 자동으로 익명 함수로 변환됩니다. 이 키워드로 JSON에 액세스 할 수 있습니다.

$ echo '[1,2,3]' | fx "this.map(x => x * 2)"
[2, 4, 6]

또는 점 구문도 사용하십시오.

$ echo '{"items": {"one": 1}}' | fx .items.one
1

JSON을 줄이기 위해 여러 익명 함수를 전달할 수 있습니다.

$ echo '{"items": ["one", "two"]}' | fx "this.items" "this[1]"
two

스프레드 연산자를 사용하여 기존 JSON을 업데이트 할 수 있습니다.

$ echo '{"count": 0}' | fx "{...this, count: 1}"
{"count": 1}

그냥 평범한 JavaScript . 새로운 구문을 배울 필요가 없습니다.

업데이트 2018-11-06

fx이제 대화식 모드가 있습니다 ( ! )

https://github.com/antonmedv/fx

이것은 또 다른입니다 bash및 python하이브리드 대답. 더 복잡한 JSON 출력을 처리하고 싶었지만 bash 응용 프로그램의 복잡성을 줄이기 때문에이 답변을 게시했습니다. http://www.arcgis.com/sharing/rest/info?f=json 에서 다음 JSON 객체를 열어보고 싶습니다 bash.

{
  "owningSystemUrl": "http://www.arcgis.com",
  "authInfo": {
    "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
    "isTokenBasedSecurity": true
  }
}

다음 예제에서 나는 자체 구현 jq및 unquote활용을 만들었습니다 python. 파이썬 객체를 json파이썬 사전으로 가져 오면 파이썬 구문을 사용하여 사전을 탐색 할 수 있습니다. 위를 탐색하는 구문은 다음과 같습니다.

• data
• data[ "authInfo" ]
• data[ "authInfo" ][ "tokenServicesUrl" ]

bash에서 magic을 사용 data하면 파이썬 텍스트를 생략 하고 데이터 오른쪽에 제공합니다.

• jq
• jq '[ "authInfo" ]'
• jq '[ "authInfo" ][ "tokenServicesUrl" ]'

매개 변수가 없으면 jq JSON 프리 테이너로 작동합니다. 매개 변수를 사용하면 파이썬 구문을 사용하여 사전 및 배열 요소 탐색을 포함하여 사전에서 원하는 것을 추출 할 수 있습니다.

위의 내용을 보여주는 실제 예제는 다음과 같습니다.

jq_py() {
cat <<EOF
import json, sys
data = json.load( sys.stdin )
print( json.dumps( data$1, indent = 4 ) )
EOF
}

jq() {
  python -c "$( jq_py "$1" )"
}

unquote_py() {
cat <<EOF
import json,sys
print( json.load( sys.stdin ) )
EOF
}

unquote() {
  python -c "$( unquote_py )"
}

curl http://www.arcgis.com/sharing/rest/info?f=json | tee arcgis.json
# {"owningSystemUrl":"https://www.arcgis.com","authInfo":{"tokenServicesUrl":"https://www.arcgis.com/sharing/rest/generateToken","isTokenBasedSecurity":true}}

cat arcgis.json | jq
# {
#     "owningSystemUrl": "https://www.arcgis.com",
#     "authInfo": {
#         "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
#         "isTokenBasedSecurity": true
#     }
# }

cat arcgis.json | jq '[ "authInfo" ]'
# {
#     "tokenServicesUrl": "https://www.arcgis.com/sharing/rest/generateToken",
#     "isTokenBasedSecurity": true
# }

cat arcgis.json | jq '[ "authInfo" ][ "tokenServicesUrl" ]'
# "https://www.arcgis.com/sharing/rest/generateToken"

cat arcgis.json | jq '[ "authInfo" ][ "tokenServicesUrl" ]' | unquote
# https://www.arcgis.com/sharing/rest/generateToken

다음과 같이 특정 값에 대한 json 응답을 "구문 분석"했습니다.

curl $url | grep $var | awk '{print $2}' | sed s/\"//g 

분명히 $ url은 트위터 URL이고 $ var는 "text"가되어 해당 var에 대한 응답을 얻습니다.

실제로, 내가 OP를하고있는 유일한 것은 그가 찾고있는 특정 변수가있는 줄에 대한 grep이라고 생각합니다. Awk는 라인의 두 번째 항목을 잡고 sed를 사용하여 따옴표를 제거합니다.

나보다 똑똑한 사람은 아마도 전체적인 생각을 awk 나 grep으로 할 수있을 것입니다.

이제 sed로 모든 것을 할 수 있습니다.

curl $url | sed '/text/!d' | sed s/\"text\"://g | sed s/\"//g | sed s/\ //g

따라서, 어색함, grep 없음 ... 나는 왜 내가 전에 그런 생각을하지 않았는지 모르겠다. 흠 ...

JSON 구문 분석은 쉘 스크립트에서 고통 스럽습니다. 보다 적절한 언어를 사용하여 쉘 스크립팅 규칙과 일치하는 방식으로 JSON 속성을 추출하는 도구를 작성하십시오. 새 도구를 사용하여 즉각적인 쉘 스크립팅 문제를 해결 한 후 향후 상황에 맞게 키트에 추가 할 수 있습니다.

예를 들어, jsonlookup 도구를 고려하여 내가 말할 경우 속성 액세스 내에 정의 된 속성 토큰 내에 정의 된 jsonlookup access token id속성 ID 를 리턴합니다. 아마도 JSON 데이터입니다 표준 입력에서을. 속성이 존재하지 않으면 도구는 아무것도 반환하지 않습니다 (종료 상태 1). 구문 분석에 실패하면 상태 2를 종료하고 stderr에 메시지를 보내십시오. 조회가 성공하면 도구가 속성 값을 인쇄합니다.

JSON 값을 추출하는 정확한 목적을 위해 유닉스 도구를 만들었 으면 쉘 스크립트에서 쉽게 사용할 수 있습니다.

access_token=$(curl <some horrible crap> | jsonlookup access token id)

jsonlookup 구현을 위해 모든 언어가 사용됩니다 . 다음은 상당히 간결한 파이썬 버전입니다.

#!/usr/bin/python                                                               

import sys
import json

try: rep = json.loads(sys.stdin.read())
except:
    sys.stderr.write(sys.argv[0] + ": unable to parse JSON from stdin\n")
    sys.exit(2)
for key in sys.argv[1:]:
    if key not in rep:
        sys.exit(1)
    rep = rep[key]
print rep

파이썬을 사용하는 2 라이너. 단일 .sh 파일을 작성하고 다른 .py 파일에 의존하지 않으려는 경우 특히 효과적입니다. 또한 파이프 사용을 활용합니다 |. echo "{\"field\": \"value\"}"stdout에 json을 인쇄하는 것으로 대체 할 수 있습니다.

echo "{\"field\": \"value\"}" | python -c 'import sys, json
print(json.load(sys.stdin)["field"])'

이것은 pythonpy 의 좋은 유스 케이스입니다 .

curl 'http://twitter.com/users/username.json' | py 'json.load(sys.stdin)["name"]'