파일을 파싱하는 가장 좋은 방법

EDIFACT 및 TRADACOMS 와 같은 유명한 파일 형식 중 일부에 대한 파서를 만드는 더 나은 솔루션을 찾으려고 합니다.

이러한 표준에 익숙하지 않은 경우 Wikipedia에서이 예제를 확인하십시오.

제품 가용성 요청에 응답하는 데 사용되는 EDIFACT 메시지의 예는 아래를 참조하십시오.

UNA:+.? '
UNB+IATB:1+6XPPC+LHPPC+940101:0950+1'
UNH+1+PAORES:93:1:IA'
MSG+1:45'
IFT+3+XYZCOMPANY AVAILABILITY'
ERC+A7V:1:AMD'
IFT+3+NO MORE FLIGHTS'
ODI'
TVL+240493:1000::1220+FRA+JFK+DL+400+C'
PDI++C:3+Y::3+F::1'
APD+714C:0:::6++++++6X'
TVL+240493:1740::2030+JFK+MIA+DL+081+C'
PDI++C:4'
APD+EM2:0:130::6+++++++DA'
UNT+13+1'
UNZ+1+1'

UNA 세그먼트는 선택 사항입니다. 있는 경우 나머지 메시지를 해석하는 데 사용할 특수 문자를 지정합니다. UNA 다음에이 순서대로 6 개의 문자가 있습니다.

• 구성 요소 데이터 요소 구분 기호 (:이 샘플에서)
• 데이터 요소 구분 기호 (이 샘플에서 +)
• 소수 알림 (이 샘플에서는.)
• 릴리스 문자 (이 샘플에서?)
• 예약 된 공간이어야합니다.
• 세그먼트 종결 자 (이 샘플에서 ')

보시다시피 파싱을 기다리는 특별한 방식으로 포맷 된 일부 데이터 일뿐입니다 ( XML 파일 과 매우 유사 ).

이제 내 시스템은 PHP로 작성되었으며 각 세그먼트에 대해 정규 표현식을 사용하여 파서를 만들 수 있었지만 문제가 모든 사람이 표준을 완벽하게 구현하는 것은 아닙니다.

일부 공급 업체는 선택적 세그먼트 및 필드를 완전히 무시하는 경향이 있습니다. 다른 사람들은 다른 사람들보다 더 많은 데이터를 보내도록 선택할 수 있습니다. 그래서 파일과 파일이 올바른지 테스트 할 세그먼트와 필드에 대한 유효성 검사기를 작성해야했습니다.

내가 지금 가지고있는 정규 표현식의 악몽을 상상할 수 있습니다. 또한 각 공급 업체마다 정규 표현식을 많이 수정해야하므로 각 공급 업체마다 파서를 작성하는 경향이 있습니다.

질문 :

1- 파일을 구문 분석하는 데 가장 적합한 방법입니까 (정규 표현식 사용)?

2- 파일을 파싱하기위한 더 나은 솔루션이 있습니까 (아마도 이미 준비된 솔루션이 있습니까)? 누락 된 세그먼트 또는 파일이 손상된 경우 표시 할 수 있습니까?

3- 어쨌든 파서를 작성 해야하는 경우 어떤 디자인 패턴이나 방법을 사용해야합니까?

노트:

나는 yacc와 ANTLR에 관한 어딘가를 읽었지만 그것들이 나의 요구와 일치하는지 아닌지는 모른다!

필요한 것은 진정한 파서입니다. 정규식은 구문 분석이 아닌 어휘 처리를 처리합니다. 즉, 입력 스트림 내에서 토큰을 식별합니다. 구문 분석은 토큰의 컨텍스트입니다. IE는 어디서, 어떤 순서로 진행합니까?

고전적인 구문 분석 도구는 yacc / bison 입니다. 클래식 렉서는 lex / flex 입니다. php는 C 코드 통합을 허용하므로 flex와 bison을 사용하여 파서를 빌드하고 PHP가 입력 파일 / 스트림에서 호출하도록 한 다음 결과를 얻을 수 있습니다.

그것은됩니다 빠르며 ,과와 작업을 훨씬 쉽게 당신이 도구를 이해하면 . Lex와 Yacc 2nd Ed를 읽는 것이 좋습니다 . 오라일리에서. 예를 들어, github 에 makefile과 함께 flex 및 bison 프로젝트를 설정했습니다 . 필요한 경우 창을 위해 크로스 컴파일 할 수 있습니다.

그것은 이다 복잡한, 그러나 당신이 발견으로, 당신이 할 필요가하는 것은 복잡하다. 제대로 작동하는 파서를 위해 수행해야하는 많은 "재료"가 있으며, 기계적인 비트를 다루는 플렉스 및 바이슨이 있습니다. 그렇지 않으면 어셈블리와 동일한 추상화 계층에서 코드 작성이 불가피한 위치에 있습니다.

아야 .. '진정한'파서? 상태 머신 ??

미안하지만 취업을 시작한 이래로 학계에서 해커로 전환되었습니다. 그래서 더 쉬운 방법이 있다고 말할 것입니다.

일부는 동의 할 수도 있고 동의하지 않을 수도있는 대체 접근 방식을 제공하려고하지만 작업 환경에서 매우 실용적 일 수 있습니다.

나는 할 것이다;

loop every line
   X = pop the first 3 letters of line
   Y = rest of line
   case X = 'UNA':
       class init (Y)

거기에서 데이터 형식에 클래스를 사용합니다. 구성 요소 및 요소 구분 기호를 분할하고 반환 된 배열을 반복합니다.

나에게 이것은 코드 재사용, OO, 응집력이 낮고 모듈성이 뛰어나며 디버깅 및 프로그래밍이 쉽습니다. 간단할수록 좋습니다.

상태 머신이나 완전히 복잡한 것이 필요없는 파일을 구문 분석하려면 상태 머신이 코드를 구문 분석하는 데 적합하므로 OO 컨텍스트에서 사용될 때 위의 pseduo 코드가 얼마나 강력한 지 놀라게 될 것입니다.

추신. 나는 전에 매우 비슷한 파일로 작업했습니다 :)

더 많은 의사 코드가 여기에 게시되었습니다.

수업

UNA:

init(Y):
 remove ' from end
 components = Y.split(':') 
 for c in components
     .. etc..

 getComponents():
   logic..
   return

 getSomethingElse():
   logic..
   return

class UNZ:
   ...

Parser(lines):

Msg = new obj;

for line in lines
   X = pop the first 3 letters of line
   Y = rest of line
   case X = 'UNA':
      Msg.add(UNA(Y))

msg.isOK = true
return Msg

그런 다음 이렇게 사용할 수 있습니다 ..

msg = Main(File.getLines());
// could put in error checking
// if msg.isOK:
msg.UNA.getSomethingElse();

그리고 둘 이상의 세그먼트가 있다고 가정합니다. 대기열을 사용하여 세그먼트를 추가하고 필요에 따라 첫 번째, 두 번째 등을 가져옵니다. 당신은 실제로 msg를 obj로 표현하고 데이터를 호출하는 객체 메소드를 제공합니다. 당신은 또한 커스텀 메소드를 만들어서 이것을 활용할 수 있습니다.

"PHP EDIFACT"에 대한 인터넷 검색을 시도 했습니까? 이것은 http://code.google.com/p/edieasy/ 에 나타난 첫 번째 결과 중 하나입니다 .

사용 사례로는 충분하지 않지만 아이디어를 얻을 수 있습니다. 나는 많은 중첩 for 루프와 조건을 가진 코드를 좋아하지 않지만 시작 일 수 있습니다.

Yacc / Bison + Flex / Lex가 언급 된 이후 다른 주요 대안 중 하나 인 파서 결합기 (parser combinators)도 사용할 수 있습니다. 이것들은 Haskell과 같은 함수형 프로그래밍에서 인기가 있지만 C 코드에 인터페이스 할 수 있다면 그것들을 사용할 수 있으며 누군가 아는 사람도 PHP 용으로 작성했습니다. (나는 그 특정 구현에 대한 경험이 없지만 대부분의 방식으로 작동한다면 꽤 좋을 것입니다.)

일반적인 개념은 작고 정의하기 쉬운 파서 (일반적으로 토크 나이저)로 시작한다는 것입니다. 언급 한 6 가지 데이터 요소 각각에 대해 하나의 파서 기능이 있습니다. 그런 다음 결합기 (함수를 결합하는 함수)를 사용하여 더 큰 요소를 가져 오는 더 큰 파서를 만듭니다. 선택적인 세그먼트와 마찬가지로 optional세그먼트 파서에서 작동하는 결합기가 있습니다.

PHP에서 얼마나 잘 작동하는지 잘 모르겠지만 파서를 작성하는 재미있는 방법이며 다른 언어로 사용하는 것을 매우 좋아합니다.

정규 표현식을 사용하는 대신 자신의 상태 시스템을 만드십시오.

이것은 사소한 상황에서 더 읽기 쉽고 (더 나은 주석을 가질 수 있음) 정규식 인 블랙 박스를 디버깅하기가 더 쉽습니다.

나중에이 데이터로 정확히 무엇을하고 싶고 그것이 너트의 망치가 아니라면 eli에 대한 좋은 경험이 있습니다. 어휘 문구를 기술 한 다음 구체적 / 추상적 구문을 설명하고 생성하려는 것을 생성합니다.