데이터를 저장하기위한 단순하고 안정적이며 개방적이며 상호 운용 가능한 일반 텍스트 형식

이전 질문에서 CSV 파일 편집 도구에 대해 물었습니다 .

Gavin 은 Duncan Murdoch의 R Help에 대한 의견에 링크하여 데이터 교환 형식이 CSV보다 데이터를 저장하는 것이 더 안정적인 방법이라고 제안했습니다.

일부 응용 프로그램의 경우 전용 데이터베이스 관리 시스템이 필요합니다. 그러나 소규모 데이터 분석 프로젝트의 경우 더 가벼운 것이 더 적합합니다.

파일 형식을 평가하기 위해 다음 기준을 고려하십시오.

• reliabile : 입력 한 데이터는 입력 한 내용을 그대로 유지해야합니다. 데이터는 다른 소프트웨어에서 지속적으로 열어야합니다.
• 단순 : 파일 형식을 이해하기 쉽고 간단한 텍스트 편집기로 이상적으로 읽을 수 있으면 좋을 것입니다. 형식을 읽고 쓰는 간단한 프로그램을 작성하는 것이 쉬워야합니다.
• open : 형식이 열려 있어야합니다
• 상호 운용성 : 많은 시스템에서 파일 형식을 지원해야합니다

신뢰성 기준에서 탭과 쉼표로 구분 된 값 형식이 실패한다는 것을 알았습니다. 파일 형식이 아닌 가져 오기 및 내보내기 프로그램을 비난 할 수 있다고 생각합니다. 나는 종종 read.table이상한 캐릭터가 데이터 프레임의 로딩을 방해하는 것을 막기 위해 옵션을 약간 조정해야한다는 것을 알게 됩니다.

질문

• 이러한 요구에 가장 적합한 파일 형식은 무엇입니까?
• 데이터 교환 형식이 더 나은 대안입니까? 아니면 자체 문제가 있습니까?
• 바람직한 다른 형식이 있습니까?
• TSV 및 CSV를 부당하게 평가하고 있습니까? 파일 형식을보다 안정적으로 만드는 그러한 파일로 작업하기위한 간단한 팁이 있습니까?

여기에 기준 충돌이 있는지 궁금합니다.

Excel, SQL 등과 같은 파일 형식에 대한 한 가지 불만은 데이터 유형이 올바르게 작동하도록 사전에 데이터 유형을 정의해야한다는 것입니다. 전산 관련보다 관련).

반대로, 데이터를 정리하지 않거나 데이터를 정리할 수있는 기준에는 약간의 오류 검사가 필요합니다. 시스템에서 자동으로 데이터 유형 (기본적으로 Excel이 실패한 위치)을 알아 내지 않으면 케이크를 먹고 먹을 수있는 방법이 없습니다.

IMO는 두 가지 중 두 번째 기준이 더 중요합니다. 데이터 무결성이 일단 위반되면 분석이 어렵거나 불가능 해집니다. 잃어버린 관측 값 또는 유효하지 않은 값 (올바로 확인되지 않은 경우)은 모든 것을 망칠 수 있습니다.

DIF와 관련하여 실제 원시 텍스트는 사람이 읽을 수 없으며 사람이 데이터를 입력하기가 어렵습니다 (IMO).

IMO, 구분 된 파일에 공정한 흔들림을 주어야합니다. 주석에서 위에서 언급했듯이 '데이터 관리'는 대부분 사용중인 도구의 하위 집합의 결함입니다. 잘 동작하는 프로그램은 구분 된 파일을 엉망으로 만들면 안됩니다. 맨 글링의 가장 큰 원인은 잘못 지정된 구분 기호입니다. 예를 들어 데이터에 쉼표가 있으면 CSV가 부적절합니다. 탭이있는 경우 TSV가 부적절합니다. 많은 (전부는 아님) 프로그램의 경우 대체 구분 기호를 지정할 수 있습니다. 예를 들어, 몇 가지 어려운 경우에 물결표 (~)를 사용했습니다.

진지하게, 나는 R 자체에 의해 작성된 RData 파일을 그것이 적합하다고 생각합니다.

• 신뢰할 수있는 (확인)
• 단순함 (그리기라고 부릅니다. 형식은 이진입니다)
• open (확인 : R 소스 코드보다 더 개방적이지 않음)
• 상호 운용 가능 (확인 : R이 작동하는 모든 곳에서 작동)

나를 위해 충분히 가까이 시스템에 의해 응용 프로그램 을 의미하는 경우 이 운영 체제가 아닌 하는 경우 마지막 지점은 실패입니다.

아, 그리고 RData는 파일이 기본적으로 압축되어 있기 때문에 효율적입니다 (이것은 기본적으로 꺼져 있던 옵션이었습니다).

Dirk Eddelbuettel의 답변에 따라 HDF5 파일 형식을 사용하는 것이 좋습니다 . RData 형식보다 간단하지 않거나 '더 풍부'하지만 확실히 더 상호 운용 가능합니다 (C, Java, Matlab 등에서 사용될 수 있음). 대용량 HDF5 파일과 관련된 I / O가 매우 빠릅니다.

적절한 메타 데이터가 포함 된 고정 텍스트 형식이 기준을 충족하지 않는 이유를 잘 모르겠습니다. 구분자로 읽는 것은 간단하지 않지만 정보를 사용하려면 메타 데이터가 필요합니다. 프로그램을 읽기 위해 구문을 작성하는 작업은 단순히 데이터 세트의 구조가 얼마나 크고 복잡한 지에 달려 있습니다. SPSS와 Excel에는 이러한 작업을 도와주는 GUI가 있습니다.

내가 본 CSV 파일에는 두 가지 오류 만 있습니다.

1. 구분 기호가없는 누락 된 필드 (따라서 해당 레코드의 다른 모든 필드가 잘못 배치되어 XML에서 누락 된 태그 로이 문제가 발생했습니다)
2. 텍스트 문자열 내의 쉼표

(다른 문제가 발생한 경우 자유롭게 예를 들어주십시오)

drnexus가 제안한 것처럼 두 개는 더 불규칙한 구분 기호로 해결됩니다 (파이프 (|)는 이전에 만난 것이지만 물결표 (~)는 문자열 필드에 포함되지 않을 가능성도 있습니다). 문제는 사용중인 소프트웨어로 쉽게 해결할 수 없으며 둘 다 사람들이 파일을 읽는 데 사용되는 소프트웨어가 아니라 처음부터 파일을 쓰는 방식에 문제가 있습니다.

또한이 스레드와 drexeus에 동의 하여이 파일을 편집하는 다른 스레드에 대한 그의 응답 에 동의 합니다. 사용하는 소프트웨어 (특히 Excel)에 대해 불만을 품고 악의적 인 소프트웨어에 맞는 형식으로 데이터를 저장하도록 요청하는 것 같습니다. 어쩌면 문제는 Excel에서 일반 텍스트 파일의 자동 서식을 중지시키는 방법입니다. 나에게 나타나는 신뢰할 수있는 기준은 일반 텍스트 파일을 읽을 때 발생하는 소프트웨어 문제입니다. 데이터 관리에 R을 사용하지는 않지만 제안한 것처럼 SPSS에서 구분 파일을 읽는 데 어려움을 겪지 않았습니다.

원본 파일이 올바르게 작성되지 않은 경우 어떤 소프트웨어가 파일을 안정적으로 읽을 것으로 예상합니까? 그리고 특정 파일 형식을 사용하면 시작하기로 선택한 파일 형식에 데이터를 잘못 쓰는 것이 확실하지 않습니다.

일반 텍스트 형식의 일반적인 문제는 메타 데이터를 저장할 수 없다는 것입니다. 누락 된 데이터를 어떻게 정의합니까? 평범한 텍스트 형식으로 1 = 강하게 동의하지 않음, 2 = 동의하지 않음, 종류를 어떻게 정의합니까? 일반 텍스트 형식에서는 다른 문서를 사용하여 해당 메타 데이터를 정의해야합니다. 그리고 XML로하는 것은 쉽지 않습니다.

때때로이 문제는 매우 혼란 스러울 수 있습니다.

내 솔루션은 SPSS 데이터 형식을 사용하는 것인데,이 형식은 자체 포함되어 있으며 SPSS에서 쉽게 편집 할 수 있습니다. 나는 이것이 귀하의 질문에 대한 정답이 아니라는 것을 알고 있지만, 오랫동안 같은 문제로 어려움을 겪어 왔으며 이것이 현재의 해결책입니다.