Shalizi의 베이지안 역 시간 역설의 엔트로피에 대한 반박?

에서 본 논문 , 재능있는 연구원 코스 마 샤 리치는 완전히 주관적인 베이지안보기를 수락하려면, 하나의도 (엔트로피의 흐름에 의해 주어진) 시간의 화살표가 실제로 이동해야한다는 비 물리적 결과를 수용해야한다고 주장 뒤쪽을 . 이것은 주로 ET Jaynes 가 제시하고 대중화 한 최대 엔트로피 / 완전히 주관적인 베이지안 견해에 맞서기위한 시도 입니다.

이상에서 LessWrong 많은 기여가 매우 또한 공식적인 의사 결정 이론의 기초와 강력한 AI를 향한 디딤돌로 주관적 베이지안 접근법 베이지안 확률 이론에 관심이있는 엘리에 저 유 코우 스키 공통 기여 거기 내가 최근에 읽고 있던 이 게시물 때를 우연히 이 댓글 (여러 다른 좋은 코멘트는 원래의 게시물의 페이지에 직후 온).

Yudkowsky의 Shalizi 반박의 타당성에 대해 누구나 의견을 말할 수 있습니까? 간단히 말해, Yudkowsky의 주장은 추론 대리인이 자신의 신념을 업데이트하는 물리적 메커니즘이 작업을 필요로하므로 Shalizi가 깔개 밑에서 쓸어내는 열역학적 비용이 든다는 것입니다. 또 다른 의견에서, Yudkowsky는 이것을 말하면서 다음과 같이 말합니다.

"시스템 외부에서 논리적으로 전지구 적 완벽 관찰자의 관점을 취하면,"엔트로피 "의 개념은"확률 "과 같이 거의 의미가 없습니다. 통계 열역학을 사용하여 아무 것도 모델링 할 필요가 없습니다. 파동 방정식. "

어떤 전문가 나 통계학자가 이것에 대해 언급 할 수 있습니까? 나는 Shalizi 또는 Yudkowsky의 지위에 관한 권위의 주장에 대해서는별로 신경 쓰지 않지만 Yudkowsky의 세 가지 요점이 Shalizi의 기사에 대한 비판을 제공하는 방법에 대한 요약을 정말로보고 싶습니다.

FAQ 지침을 준수하고이 질문에 대한 답을 구체적으로 제시하려면 Yudkowsky의 3 단계 인수를 취하고 Shalizi 기사에서 3 단계가 가정 및 / 또는 도출을 반박하는 위치를 나타내는 구체적이고 항목 화 된 응답을 요청하고 있습니다. 반면에, Shalizi의 논문에서 Yudkowsky의 주장이 다루어 진 곳을 나타냅니다.

나는 종종 Shalizi 기사가 완전한 주관적인 베이지안주의를 방어 할 수 없다는 철의 증거로 선전하는 것을 들었습니다 ...하지만 Shalizi 기사를 몇 번 읽은 후에는 결코 적용 할 수없는 장난감 논쟁처럼 보입니다. 관찰되고있는 것 (즉, 모든 실제 물리)과 상호 작용하는 관찰자에게. 그러나 Shalizi는 훌륭한 연구원이므로이 토론의 중요한 부분을 이해하지 못할 가능성이 높기 때문에 두 번째 의견을 환영합니다.

— ely
소스

Shalizi는 도발적인 것을 좋아합니다 ... 그의 주장은 진화론이 열역학 제 2 법칙을 위반한다는 창조 론적 주장과 본질적으로 같은 것으로 보입니다. 그러나 두 번째 법칙에 따르면 엔트로피는 줄어들지 않습니다. 그러나 1) 두 번째 법칙에는 엔트로피의 국부적 감소를 막는 것이 없으며, 2) 아무도 아무도 아무것도 배울 수 없다는 것을 암시합니다 (Bayesian 업데이트를 통한 학습이 다른 학습 과정과 다른 이유는 무엇입니까?)

— jbowman

나는 Shalizi와 Yudkowsky 사이의 토론으로 일하지 않을 것이다. 권위도 아닙니다. (Shalizi는 글을 잘 작성합니다.) 어쨌든 physics.se가이 질문에 더 적합한 장소라고 생각하지 않습니까?

— Emre

Yudkowsky의 시퀀스 게시물을 많이 읽었습니까? 나는 그가 잘 쓰는 것 같아요. 이 두 인물 모두 논쟁의 여지가 있지만 Shalizi는 주관적인 베이지안주의를 위해 실제로 그것을 가지고있는 것처럼 보입니다. 내가 여기에 요청한 이유는 Shalizi가 Andrew Gelman과 함께 작성한 더 순수하고 이론적 인 통계 자료와 깊이 연계되어 있기 때문에 철학적 문제로 가득 차 있습니다 (Gelman은 실무에있어 총 전문가이지만). ( 링크 )

— ely

나는 이것을 방정식으로 낮추려고 노력했지만 아직 그렇게 할 수는 없습니다. Shazili의 가장 큰 문제는 섹션 1에 대한 그의 두 번째 가정, 즉 Bayes Rule을 사용하여 (임의의) 위상 포인트 를 업데이트 할 수 있다고 생각합니다 . Yudkowsky가 지적했듯이, 이는 다시 측정하고 초기 배포를 업데이트 할 때 시스템에 대한 기여를 추가해야한다는 사실을 무시합니다.

X

$X$

— Néstor

... 그리고 이것은 여러 가지 형태로 나타납니다 : 당신의 시스템을 통제하려고 시도하는 것 (매번 독특하고, 문제는 본질적으로 확률론적일 것입니다.이 경우 엔트로피의 개념은 이해가되지 않을 것입니다 ... 엔트로피 속도?). 이 기여가 위상 점-벡터 의 선형 변환으로 모델링 될 수 있음을 확신하려고 노력했습니다 .이 결과 엔트로피에는 추가 항이 있기 때문에 Shazili가 사용하는 불평등이 유효하지 않다는 것을 설명합니다. 선형 변환 결정 요인의 로그).

X

$X$

— Néstor

답변:

간단히 말해서 : Yudkowsky의 경우 1 : 0입니다.

Cosma Shalizi는 일부 측정에 따른 확률 분포를 고려합니다. 그는 그에 따라 확률을 업데이트합니다 (여기서는 Bayensian 추론 또는 다른 것이라면 중요하지 않습니다).

놀랍지 않게, 확률 분포의 엔트로피가 감소합니다.

그러나 그는 시간의 화살표에 대해 무언가를 말하고 있다는 잘못된 결론을 내립니다.

이러한 가정은 시간의 화살표를 뒤집습니다. 즉, 엔트로피를 증가시키지 않습니다.

의견에서 지적했듯이 열역학에 중요한 것은 닫힌 시스템 의 엔트로피입니다 . 즉, 열역학 제 2 법칙 에 따르면 , 폐쇄 시스템의 엔트로피는 감소 될 수 없다. 서브 시스템 (또는 개방 시스템)의 엔트로피에 대해서는 아무 것도 말하지 않습니다. 그렇지 않으면 냉장고를 사용할 수 없습니다.

그리고 일단 sth를 측정 (즉, 상호 작용하고 정보를 수집)하면 더 이상 닫힌 시스템이 아닙니다. 우리는 두 번째 법칙을 사용할 수 없거나 측정 시스템과 관찰자 (예 : 우리 자신)로 구성된 폐쇄 시스템을 고려해야합니다.

특히, 입자의 정확한 상태를 측정 할 때 (분포를 알기 전에) 실제로 엔트로피를 낮 춥니 다. 그러나 정보를 저장하려면 최소한 같은 양만큼 엔트로피를 증가시켜야합니다 (일반적으로 엄청난 오버 헤드가 있음).

따라서 Eliezer Yudkowsky는 좋은 지적을합니다.

1) 측정은 작업을 사용합니다 (또는 다음 측정 사용 작업을 위해 최소한 삭제).

실제로 여기서 일에 대한 언급은 가장 중요하지 않습니다. 열역학은 에너지와 엔트로피를 관련 (또는 거래)하는 것에 관한 것이지만, 우리는 돌아 다닐 수 있습니다 (즉 , Shalizi가 회의적 인 Landauer의 원칙 에 의지 할 필요는 없습니다 ). 새로운 정보를 수집하려면 이전 정보를 삭제해야합니다.

고전 역학 (및 양자)과 일관성을 유지하기 위해 부작용없이 모든 0에 임의로 매핑하는 함수를 만들 수 없습니다 . 메모리를 모두 0에 매핑하는 기능을 만들 수 있지만 동시에 정보를 어딘가에 덤프하면 환경의 엔트로피가 효과적으로 증가합니다.

(위의 내용은 해밀턴 역학, 즉 고전적인 경우 위상 공간 보존, 양자 경우의 진화의 단일성에서 비롯된 것입니다.)

추신 : 오늘날의 트릭- "엔트로피 감소":

편향되지 않은 동전을 뒤집지 만 결과를 보지 마십시오 ( 비트). $H = 1$
눈을 떠. 이제 상태를 알 수 있으므로 엔트로피는 비트입니다. $H = 0$

— 피오트르 미달
소스

이 tl; dr 버전이 정확합니까? "Shalizi의 논문은 Maxwell의 악마에 대한 전문화 된 진술 일 뿐입니 까?"

— Artem Kaznatcheev

@ArtemKaznatcheev 기본적으로 그렇습니다. 그러나 개방형 시스템에 비해 더 많은 맛이 닫힙니다. 그러나 독서를 좋아하지 않는 사람들에게는 첫 번째 줄이 있습니다.).

— Piotr Migdal 19:51에

이 답변이 마음에 들지만 다른 스레드에 대한 토론과 화해하는 데 어려움을 겪고 있습니다. 봐 이 링크에서 사용자 "실용주의"에 의해 시작된 스레드 / 답을 찾을 수 있습니다. 해당 주장을 다루는 단락 또는 두 단락을 추가하거나 해당 주장이 유효한 이유를 설명하거나 위의 답변에 동의하지 않는 경우 기꺼이 동의합니다.

— ely

@EMS 음, "토론을 말씀해 주시겠습니까?" SE에 가장 적합하지 않습니다 (일반적으로 많은 주장이 있습니다). 사실 나는 Shalizi의 논문에 대한 비판을 정당화했다. 종이에 대한 비판에 대한 비판도 포함하여 너무 많은 것을 요구하고 있습니다. 좀 더 구체적으로 설명 할 수 있습니까? 즉 정확한 포인트를 가리킬 수 있습니까? 그러나 : "우리는 통계 역학을 수행 할 때, 우리는 일반적으로 시스템 플러스 관찰자의 엔트로피에 관심이없는" - 거짓 (폐쇄 시스템 대 공개) "시스템 진화가 단일하지 않습니다" - 사실,하지만, 심지어 고전 당신은 할 수 없습니다 총 엔트로피를 줄입니다.

— Piotr Migdal

@EMS 삭제 원리는 통계보다 깊습니다. mech. 내가 말했듯이, 그것을 만족시키지 못하면 양자와 고전 역학을 반박한다. 그리고 다시 한 번 : 폐쇄 시스템에 대한 규칙을 개방 시스템에 적용 할 수 없으므로 실용 주의자에 의한 대부분의 주장은 과학적이지 않거나 (믿거 나 말아야 할 것) 물리를 무시하지 않습니다.

— Piotr Migdal

Shalizi의 결함은 매우 기본적이며 시간 진화가 되돌릴 수 없다는 가역 I에서 가정합니다.

개별 상태의 시간 진화는 가역적입니다. 시스템이 평형 상태가 아닌 한, ALL OF PHASE SPACE에 대한 분포의 시간 진화는 가장 확실하게 되돌릴 수 없습니다. 이 논문은 개별 국가의 위상 공간이 아닌 모든 위상 공간에 걸친 분포의 시간 진화를 다루기 때문에, 가역성의 가정은 완전히 비 물리적이다. 평형의 경우 결과는 사소합니다.

시간의 화살표는 실제로 분포의 시간 진화가 가역적이지 않다는 사실에서 비롯됩니다 (구배가 떨어지고 가스가 퍼지는 이유). 비가역성은 '충돌 용어'에서 나온 것으로 알려져있다

이 점을 고려하면 그의 주장은 무너집니다. 정보 엔트로피 = 여전히 열역학적 엔트로피. :디

— 이단
소스

근본적인 수준에서 QM은 결정 론적입니다 -Schrodinger 방정식은 시간이 지남에 따라 시스템이 어떻게 진화하는지에 대해 정확하게 설명하고 그것에 대해 불확실성이 없으며 선형 적이므로 개별 국가의 진화에서 가역성은 즉시 가역성을 암시하는 것처럼 보입니다. 그러한 상태의 배포. 그러므로 나는 당신의 주장에 대한 수학적 타당성을 반대로 보고 싶다 . 왜냐하면 그것은 당신이 이제 동적 방정식에 대해 암묵적으로 가정하고있는 것을 더 명확하게 보여줄 것이기 때문이다.

— whuber

평형 분포의 경우 사물은 사소하고 시간 진화는 가역적입니다. 위상 공간 부피가 일정하지 않은 소산 시스템의 경우 초기 분포의 많은 상태가 최종 분포의 단일 상태에 매핑되거나 그 반대의 경우도 더 이상 되돌릴 수 없습니다. 이것은 예를 들어 이상적인 가스의 자유로운 팽창의 경우에 분명하다. 각각의 개별 입자의 운동은 명확하게 가역적이지만, 팽창 자체는 위상 공간 부피의 변화를 포함하므로 그렇지 않습니다. 가스는 결코 '팽창되지 않습니다'. 그래도 행복하지 않으면 수학을 연습 할 수 있습니다.

— Ethan

Shalizi가 이것에 대해 잘못했다고 비난하고 있기 때문에, 일종의 객관적인 수학 지원을 제공하는 것이 좋습니다. 그러나 물리가 아닌 데이터 분석에 관한이 사이트의 초점에서 너무 멀리 벗어나지 않도록주의하십시오! A (가설) 소형 우주에서 그런 일이없는 것으로 나타나기 때문에 그럼에도 불구하고, 무료 확장 예는 나에게 dispositive하지 않는 것 : 가스 팽창 에 다른 곳.

— whuber

때때로 나는 어떤 스택 교환을 사용하고 있는지 잊어 버립니다. 어쩌면 나는 거기서 뭔가를 시작할 것입니다. 그러나 가스의 엔트로피 변화는 TdS = dU + pdV이지만 dU는 0이므로 단열이므로 dS = pdV / T입니다. 이상적인 가스 법칙 dS = nRdV / V에 의해 v1에서 v2로 가면 ln (v2 / v1)만큼 엔트로피가 변경됩니다. 기본적으로 모든 자발적인 거시적 과정 (즉, 재현 가능)은 되돌릴 수 없습니다. 그러나 아마도 기본 원칙에서 이것을 얻는 것은 사소한 것이 아닙니다 (볼츠만은 그의 삶을 보냈습니다)

— Ethan

링크 된 논문은

진화 연산자 T는 되돌릴 수 없습니다.

그러나 기존 방식으로 QM을 사용하는 경우에는이 가정이 적용되지 않습니다. 동일한 확률로 X2 또는 X3으로 진화 할 수있는 상태 X1이 있다고 가정합니다. 상태 X1이 가중치 세트 [1/2 X2 + 1/2 X3]로 진화한다고 말할 수 있습니다. Shalizi는 이 세트 가 X1보다 더 큰 엔트로피를 가지고 있지 않다는 것을 증명합니다 .

그러나 우리는 관찰자로서 또는 그 시스템의 일부로서 X2 또는 X3 분기 중 하나만 볼 수 있습니다. 우리가 살펴볼 두 가지 중 하나를 선택하면 새로운 엔트로피가 약간 추가되고이 선택은 되돌릴 수 없습니다. 시간이 지남에 따라 엔트로피가 증가하는 곳입니다. Shalizi가 한 일은 모든 엔트로피가 양자 분기에서 시작되는 수학을 사용한 다음 양자 분기가 발생한다는 것을 잊어 버리는 것입니다.

— Jimrandomh
소스

이 논문 (제 2 법칙)은 폐쇄 시스템을 다룬다. 양자 역학은 폐쇄 시스템에서 완전히 가역적입니다 (즉, 모든 연산자는 단일입니다). 양자 역학에서 되돌릴 수없는 유일한 연산은 측정입니다. 닫힌 시스템을 측정하면 열역학 관점에서 더 이상 닫히지 않습니다. 옵저버가 시스템 내부에 있고 서브 시스템을 측정하는 경우 옵저버 + 서브 시스템은 함께 진화하여 작동이 불가합니다 (이 트릭은 비공식적으로 "더 큰 힐버트 공간의 교회"라고 함). 따라서 "QM"의 주장이 잘못되었습니다.

— Artem Kaznatcheev

이것은 코펜하겐 해석 (또는 단일 측정과 '측정'을 분리하는 다른 해석)을 믿는 경우에만 해당됩니다. 많은 세계에서는 측정이 일반적인 단일 법칙이므로 완벽하게 가역적이라고 주장합니다. 그것은 우주의 초기 상태의 인공물 일뿐입니다. 어쨌든, 나는이 비판으로 인해이 답변이 다운 투표되어야한다고 확신하지 않습니다.

— ely

@EMS 어떤 해석을 사용하든 관계없이 폐쇄 시스템의 QM은 가역적입니다. 그러나 원래의 질문에 대한 더 큰 맥락에서 QM에 대해 잘못된 답변자에 대한 세부 사항은 관련이 없습니다. 이 답변의 올바른 형태조차도 Shalizi 자신이 지적한 단점을 넘어서는 것은 아닙니다.

— Artem Kaznatcheev

이것을 논의하는 다른 글에서 언급했듯이,이 답변은 주어진 다른 답변의 반대편 인 것처럼 보입니다 : 만약 당신이 닫힌 시스템 요구 사항을 고집한다면, 당신은 엔트로피의 근원을 찾아야합니다 (즉, Shalizi의 "폐쇄 된 시스템"은 엔트로피를 가진 사람은 '두 가지의 한 가지 (알 수없는) 가지를 넘어가는 일이 일어날 것입니다'. 즉,이 답변은 Shalizi의 논문이 Maxwell 's Demon을 다시 언급 한 것 같습니다. 공식 물리 훈련 부족으로 오해

— ely