바이너리 데이터에서 렉서 / 파서를 사용하는 것이 왜 그렇게 잘못 되었습니까?

나는 종종 파서 결합기 와 달리 lexer / parsers 와 함께 일하고 파싱에서 수업을 한 적이없는 사람들을보고 바이너리 데이터 파싱에 대해 묻습니다. 일반적으로 데이터는 이진일뿐만 아니라 상황에 따라 다릅니다. 이것은 기본적으로 한 유형의 토큰, 바이트 토큰 만 갖습니다.

누군가 파싱 수업을 듣지 않고 이론에 기반을 둔 CS 학생에게 충분한 명확성으로 렉서 / 파서로 이진 데이터를 구문 분석하는 것이 왜 그렇게 잘못되었는지 설명 할 수 있습니까?

원칙적으로 아무런 문제가 없습니다.

실제로,

• 내가 아는 대부분의 텍스트가 아닌 데이터 형식은 컨텍스트가 없으므로 일반적인 파서 생성기에 적합하지 않습니다. 가장 일반적인 이유는 프로덕션이 필요한 횟수를 제공하는 길이 필드가 있기 때문입니다.

  문맥에 맞지 않는 언어를 사용하더라도 파서 생성기의 사용을 막을 수는 없습니다. 언어의 수퍼 세트를 구문 분석 한 후 의미 규칙 을 사용하여 원하는 언어 로 줄입니다. 결과가 결정적이라면 텍스트가 아닌 형식에이 방법을 사용할 수 있습니다. 문제는 대부분의 이진 형식이 임의의 데이터를 포함 할 수 있으므로 동기화 할 수있는 것 이외의 것을 찾는 것입니다. 길이 필드는 그것이 얼마인지 알려줍니다.

  그런 다음 수동으로 작성된 어휘 분석기를 파서의 피드백으로 처리 할 수있는 것과 같은 트릭을 시작할 수 있습니다 (예를 들어 C의 lex / yacc 처리는 typedef를 처리하는 데 그러한 트릭을 사용합니다). 그러나 우리는 두 번째 요점에 도달합니다.

• 텍스트가 아닌 데이터 형식은 컨텍스트가없는 경우에도 매우 간단합니다. 위에서 언급 한 수를 무시하면 언어는 규칙적이고 최악의 경우 LL1이므로 수동 구문 분석 기술에 적합합니다. 또한 재귀 강하와 같은 수동 구문 분석 기술에서는 처리 횟수가 쉽습니다.

데이터를 사람이 읽을 수있는 데이터 (일반적으로 책, 프로그램에 따라 다름), 컴퓨터 및 기타 데이터 (이미지 또는 사운드 구문 분석)가 읽을 수있는 데이터의 세 가지 범주로 분류 해 보겠습니다.

첫 번째 범주의 경우 컴퓨터에서 사용할 수있는 것으로 처리해야합니다. 사람이 사용하는 언어는 일반적으로 파서에 의해 상대적으로 잘 이해 될 수 있으므로 일반적으로 파서를 사용합니다.

세 번째 범주의 데이터 예는 텍스트에서 구문 분석하려는 책에서 페이지의 스캔 이미지입니다. 이 범주의 경우 거의 항상 입력에 대한 매우 구체적인 지식이 필요하므로이를 분석하려면 특정 프로그램이 필요합니다. 표준 파싱 기술은 여기서 멀지 않습니다.

귀하의 질문은 두 번째 범주에 관한 것입니다. 이진 데이터가있는 경우 거의 항상 다른 컴퓨터 프로그램을위한 컴퓨터 프로그램의 제품입니다. 이것은 또한 데이터의 형식이 데이터 생성을 담당하는 프로그램에 의해 선택됨을 의미합니다.

컴퓨터 프로그램은 거의 항상 명확한 구조의 형식으로 데이터를 생성합니다. 입력을 구문 분석 하면 입력 의 구조 를 파악하려고합니다 . 이진 데이터를 사용하면이 구조는 일반적으로 컴퓨터로 매우 간단하고 구문 분석하기 쉽습니다.

다시 말해, 일반적으로 구조를 이미 알고있는 입력 구조를 파악하는 것은 약간의 낭비입니다. 구문 분석이 자유롭지 않기 때문에 (시간이 걸리고 프로그램이 복잡 해짐) 바이너리 데이터에 렉서 / 파서를 사용하는 것이 '너무 잘못'한 이유입니다.

$a + b \times (c - d) + e$(+ a (* b (- c d)) e)a b c d - * + e +. 일반적인 수학적 표기법은 Lisp (더 많은 괄호가 필요하지만 무료로 가변적 인 특성을 가지므로 큰 특성을 사용하여 식을 표현하기 위해 더 적은 기호가 필요함) 또는 RPL (괄호가 필요하지 않음)보다 중복성이 더 높습니다. 이러한 중복성은 컴퓨터에 거의 유용하지 않으며 데이터에 오류가있을 수있는 경우 오류 정정 논리는 일반적으로 임의의 데이터에 적용되는 오류 수정 코드를 사용하여 데이터의 기능적 의미와 별도로 유지됩니다. 바이트 시퀀스는 무엇을 나타내는 지에 관계없이.

이진 형식은 일반적으로 압축되도록 설계되었으므로 문맥없는 문법으로 표현할 수있는 균형 괄호와 같은 간단한 언어 기능이 거의 없습니다. 또한, 데이터의 이진 표현이 표준적인 것, 즉 각 객체의 단일 표현을 갖는 것이 종종 유용하다. 이것은 괄호와 같은 중복 기능을 배제합니다. 중복성이 줄어듦에 따라 칭찬 할 수없는 또 다른 결과는 모든 입력이 구문 적으로 정확하면 오류 검사를 줄입니다.

이진 데이터에 대한 사소한 파서의 또 다른 요인은 많은 이진 형식이 오버 헤드가 거의없는 일정한 메모리에서 작동하는 것을 선호하는 저수준 코드로 구문 분석되도록 설계되었다는 것입니다. 적용 가능한 경우 요소의 임의 반복을 허용하기 위해 고정 된 크기가 선호됩니다. 왼쪽에서 오른쪽으로 구문 분석기가 오브젝트에 적합한 양의 메모리를 먼저 할당 한 다음 오브젝트의 표현을 읽을 수있게하는 TLV 와 같은 형식 입니다. 왼쪽에서 오른쪽으로 구문 분석하면 중간 버퍼없이 데이터를 그대로 처리 할 수 ​​있으므로 이점이 있습니다.