소수를 사용한 데이터 압축

필자는 최근 데이터의 유형과 형식에 관계없이 임의의 데이터 세트를 항상 50 % 이상 효율적으로 압축한다고 주장 하는 다음 흥미로운 기사 를 우연히 발견했습니다 .

기본적으로 모든 숫자가 고유 한 소수 인 경우 압축을 풀기 쉬운 4 바이트 데이터 청크의 표현을 고유하게 사용하기 위해 소수를 사용합니다. 이 시퀀스를 소수와 연관시키기 위해 사전을 사용합니다.

내 질문은 :

• 저자가 제안한 것처럼 이것이 실제로 실현 가능한가? 이 논문에 따르면 결과는 매우 효율적이며 항상 데이터를 더 작은 크기로 압축합니다. 사전 크기가 엄청 크지 않습니까?
• 동일한 알고리즘을 사용하여 압축 된 데이터를 반복적으로 다시 압축하는 데 사용할 수 없습니까? 그러한 기술 (압축 된 데이터가 가능한 한 많은 횟수로 재 압축되어 파일 크기를 크게 줄이는)은 불가능하다는 것이 명백하고 입증되었습니다. 실제로, 모든 임의의 데이터 세트와 압축 된 데이터 사이에는 bijection이 없습니다. 그렇다면 왜 이것이 가능하다고 느끼는가?
• 기술이 아직 완벽하지 않더라도 분명히 최적화되고 강력하게 향상 될 수 있습니다. 왜 이것이 더 널리 알려지지 않았습니까? 실제로 이러한 주장과 실험 결과가 사실이라면 컴퓨팅에 혁명을 일으킬 수 없었습니까?

임의 데이터 세트를 항상 50 % 이상 압축

불가능합니다. 임의의 데이터를 압축 할 수 없으므로 활용할 구조가 필요합니다. 압축, 뒤집을 수 있어야합니다 그래서 할 수없는 가능성이 압축 모두 50 % 길이 훨씬 적은 문자열이 있기 때문에 의 길이가보다 .$n/2$$n$

이 논문에는 몇 가지 주요 문제가 있습니다.

• 그들은 내용의 표시없이 10 개의 테스트 파일을 사용합니다. 데이터가 실제로 무작위입니까? 그들은 어떻게 생성 되었습니까?

• 테스트 데이터는 압축률이 50 % 이상인 것으로 나타 났으며 테스트 데이터에 따르면 최대 50 %를 달성 했습니다 .

이 알고리즘은 10 진수 시스템에있는 소수를 사용하는 무손실 전략을 정의합니다.

• 뭐? 소수는 밑에 관계없이 소수입니다.

• 압축 해제 문제 # 1 : 소인수 분해는 어려운 문제입니다. 어떻게 효율적으로 수행합니까?

• 감압과 함께 문제 # 2 ( 이것은 키커입니다 ) : 소수를 곱하면 이기 때문에 주문에 대한 정보가 손실됩니다 . 나는 그들의 기술을 사용하여 압축을 풀 수 있다고 생각하지 않습니다.$2\cdot 5 = 10 = 5\cdot 2$

나는이 논문이 매우 좋다고 생각하지 않는다.

나는 논문을 읽고 그 방법의 약점을 발견 한 것으로 보이는 Tom van der Zanden에게 연기 할 것입니다. 초록과 결과표에서이 논문을 자세하게 읽지는 않았지만, 상당히 믿을만한 주장처럼 보입니다.

그들이 주장하는 것은 텍스트 파일 ( "모든 파일"이 아님) 에 대해 일관된 50 % 압축 비율 이며, LZW와 거의 같으며 (아마도 0 차) 허프만 코딩보다 약 10 % 더 나쁩니다. 합리적으로 간단한 방법을 사용하여 텍스트 파일을 50 % 압축하는 것은 어렵지 않습니다. 많은 컴퓨터 과학 과정에서 학부 과제입니다.

나는 논문이 출판 된 연구만큼 좋지 않다는 것에 동의하며, 나는 그것이 논문이 받아 들여 졌다고 평가자들에게 잘 말하지 않는다고 생각합니다. 결과를 재현 할 수 없게 만드는 명백한 세부 사항 (예 : 텍스트 파일)을 제외하고 압축 필드에 결과를 연결하려고 시도하지 않고 알고리즘이 수행하는 작업을 실제로 이해한다는 의미는 없습니다.

회의 웹 사이트는 1 : 4 수락 비율을 주장하며 거부 한 사항을 궁금해합니다.

물어:

• 저자가 제안한대로 이것이 실제로 실현 가능합니까? 이 논문에 따르면 결과는 매우 효율적이며 항상 데이터를 더 작은 크기로 압축합니다. 사전 크기가 엄청 크지 않습니까?

물론입니다. 손으로 고른 예 ( "라지 도그보다 빠른 은색 폭스 점프")에도 사전에는 텍스트의 모든 4 바이트 하위 문자열이 포함되어 있기 때문에 압축을 달성 할 수 없습니다. 은 ") ... 그리고"텍스트의 압축 된 "버전은 전체 사전을 포함하는 플러스 모든 소수 쓰레기를.

• 동일한 알고리즘을 사용하여 압축 된 데이터를 반복적으로 다시 압축하는 데 사용할 수 없습니까? 그러한 기술 (압축 된 데이터가 가능한 한 많은 횟수로 재 압축되어 파일 크기를 크게 줄이는)은 불가능하다는 것이 명백하고 입증되었습니다. 실제로, 모든 임의의 데이터 세트와 압축 된 데이터 사이에는 bijection이 없습니다. 그렇다면 왜 이것이 가능하다고 느끼는가?

다시 한 번 상황을 직관적으로 파악하는 것 같습니다. 모든 입력 에 대해 어떤 압축 구성표도 효과적 일 수 없다는 것을 직관적으로 깨달았습니다. 그럴 경우 반복적으로 적용하여 모든 입력을 단일 비트로 압축 한 다음 아무 것도 압축 할 수 없기 때문입니다!

다시 말해 : 모든 .wav 파일을 .mp3로 압축 한 후에는 파일 크기를 압축하여 파일 크기를 개선 할 수 없습니다. MP3 컴프레서가 작업을 완료 한 경우 ZIP 컴프레서가 사용할 패턴이 남아 있지 않습니다.

(암호에도 동일하게 적용됩니다. 선택한 0의 암호화 알고리즘에 따라 0의 파일을 가져 와서 암호화하면 결과 파일 이 압축되지 않는 것이 좋습니다. 그렇지 않으면 암호화 알고리즘이 출력에 "패턴"을 유출합니다!)

• 기술이 아직 완벽하지 않더라도 분명히 최적화되고 강력하게 향상 될 수 있습니다. 왜 이것이 더 널리 알려지지 않았습니까? 실제로 이러한 주장과 실험 결과가 사실이라면 컴퓨팅에 혁명을 일으킬 수 없었습니까?

이러한 주장과 실험 결과는 사실 이 아닙니다 .

Tom van der Zanden이 이미 언급했듯이 Chakraborty, Kar 및 Guchait의 "압축 알고리즘"은 압축 비율을 달성 할 수 없을 뿐만 아니라 돌이킬 수 없다는 점 에도 결함 이 있습니다 (수학에서는 "미사일"이 아님). 그들의 알고리즘은 기본적으로 곱셈이고 곱셈은 교환 적이므로, 모두 같은 이미지로 압축되는 많은 텍스트.

이러한 개념을 직관적으로 이해하면 즉시 올바른 결론을 내릴 수 있습니다. 그리고 시간을 절약 할 수 있다면 , 주제를 전혀 이해하지 않고 주제에 대해 생각 하는 데 많은 시간을 소비 한 논문 저자들에게 불쌍 감을 느낄 것 입니다.

게시 한 URL보다 한 수준 위의 파일 디렉토리 에는 동일한 품질의 139 개의 "논문"이 포함되어 있으며, "컴퓨터, 정보, 통신 및 응용 분야의 신흥 연구에 관한 국제 회의 절차"에 모두 들어 있습니다. 이것은 일반적인 유형의 가짜 회의처럼 보입니다. 이러한 회의의 목적은 사기 학자들이 "저널에 출판"을 주장 할 수 있도록하는 동시에 부도덕 한 주최자가 엄청난 돈을 벌 수 있도록하는 것입니다. (가짜 회의에 대한 자세한 내용은 이 레딧 스레드 또는 주제에 대한 다양한 StackExchange 게시물을 확인하십시오 .) Sham 회의는 모든 필드에 존재합니다. 본능을 신뢰하고 "컨퍼런스 진행"에서 읽은 모든 것을 믿지 않으면 잘될 것입니다.

엔트로피 는 가능한 가장 강력한 무손실 압축 성능을 효과적으로 제한합니다. 따라서 임의 데이터 세트를 항상 50 % 이상 압축 할 수있는 알고리즘이 없습니다.

복원 가능한 압축 방법은 일반적으로 패턴을 찾아 간단한 방법으로 다시 표현합니다. 일부는 매우 영리하고 일부는 매우 단순합니다. 어떤 시점에는 패턴이 없습니다. 프로세스는 데이터 세트를 가장 단순한 고유 패턴으로 '보일드'했습니다. 이 시점부터 압축을 시도하면 더 큰 데이터 세트가 생성되거나 고유성이 희석됩니다. 매직 넘버 압축 방식에는 항상 결함이나 약간의 손 또는 손실이 있습니다. 최신 WinZip 또는 RAR을 수행한다고 주장하는 프로세스에주의하십시오.