검토 자로서 저널이없는 경우에도 요청 데이터 및 코드를 제공 할 수 있습니까?


23

과학은 재현 할 수 있어야하므로 정의에 따라 데이터와 코드가 데이터와 코드 공유를 위해 Yale Roundtable에서 논의한 것처럼 재현성의 필수 구성 요소라는 인식이 높아지고 있습니다.

데이터 및 코드 공유가 필요없는 저널의 원고를 검토 할 때 데이터 및 코드를 사용할 수 있도록 요청할 수 있습니까

  1. 검토 할 때 나에게
  2. 출판 당시 공개적으로 (저널은 보충제를 지원함)

또한 그러한 요청을 어떻게 표현할 수 있습니까?


업데이트 : 일반적인 경우에 관심이 있지만이 특별한 경우는 이전에 게시 된 모든 데이터의 메타 분석으로 구성되며 코드는 SAS의 간단한 선형 모델입니다

더 많은 연구에서 미가공 데이터를 제공하는 경우 메타 분석의 목표와 같이 교차 학습 추론을하는 기능이 크게 향상 될 수 있다는 점에 유의 하십시오.

업데이트 2 :

검토 목적으로 편집자에게 데이터와 코드를 요청했으며, 편집자가 요청을 합리적으로 고려했으며 하루 안에 요청 된 자료 (충분하지만 암호 변수 이름, 메타 데이터 없음, 인라인 주석이 거의 없음)를 받았습니다.


3
개인적으로, 나는 거의 모든 상황에서 코드를 사용할 수 있습니다. 데이터는 또 다른 문제입니다. 이미 공개적으로 제공되지 않는 한 다른 사람과 공유 할 권한이 없을 것입니다. 많은 상황에서 이것이 데이터 요청을 불합리하게 만든다고 생각합니다.
Andy W

4
동료 편집자 또는 편집자와 논의해야 할 것 같습니다. 그들이 일을하고 있다면, 그들은 당신에게 지침을 제공 할 수 있어야하고 아마도 그러한 요청에 대한 저자의 연락 지점 역할을 할 것입니다.
추기경

1
많은 예와 그에 따른 토론은 훈련과 우리가 이야기하는 데이터에 따라 크게 달라질 수있는 일화 적 상황에 기반한 것 같습니다. 물론 어떤 상황은 데이터를 전파하기에 완벽하게 합리적으로 보이지만 반드시 모든 상황을 특징 짓는 것은 아닙니다. 이 질문은 매우 빠르게 격렬하게 변하고 있습니다!
Andy W

1
@Andy는 rant에서 멀리 조종하는 방법에 대한 제안? 예를 들어 OP에서 작성하거나 답변을 편집 해야하는 구별 (결국 CW입니다).
Abe

1
이 양식에는 선택 편견 이 있다고 생각합니다 :-). 우리 대부분은 어떤 식 으로든 OP 아이디어를 지원하기 때문에 여기에 있습니다.
suncoolsu

답변:


7

검토 자로서 데이터를 가져 오는 한 검토를 올바르게 완료하기 위해 필요한 경우 데이터를받을 자격이 있습니다. 더 많은 검토자가 데이터를 요구하고 평가해야합니다. 많은 저널에는 검토 목적으로 데이터 및 분석 코드가 필요할 수있는 정책이 있습니다.

출판 당시의 가용성은 명확하지 않습니다. 데이터를 공개 조건으로 공개적으로 사용할 수 있도록하는 문제를 강요하려는 것 같습니다. 저널 정책이 아닌 경우 나쁜 생각입니다. 출판물을 불공평 한 이동 목표로 삼고 있습니다. 그들은 요구 사항이 아니기를 기대하며 제출 한 귀하와 편집인은 게임을 변경해야합니다.

많은 연구비가 공개적으로 자금을 지원하는 연구자들에게 알려지지 않은 데이터를 공개해야합니다. 예를 들어, 대부분의 NIH 보조금에는 연구원이 데이터를 발표해야하는 조항이 있습니다. 대부분의 정부 보조금 기관에는 연구자가 찾은 내용을 공유하도록 강제하는 데이터 공유 조항이 있습니다 (아마도 갱신을 잃을 수는 있지만 보조금을 잃기가 매우 어렵다는 점에서 힘은 약간 강합니다). 대중은 데이터에 대한 비용을 지불했기 때문에 대중은 데이터를받을 자격이있다.

가장 비싸고 민감한 수집 데이터 인 사람 FMRI 데이터도 가장 일반적으로 공개 된 데이터 중 일부입니다. PLoS뿐만 아니라 해당 분야의 주요 저널은 데이터를 제출해야하며 공개적으로 사용 가능한 데이터 뱅크를 유지해야합니다. 나는 이것이 비용의 이유 (매우 비싸다)와 프라이버시 (소규모 연구에서 얻은 인간 데이터, 때로는 매우 민감한 임상 인구 집단)에 대해 반대하는 사람들에게 많은 것을 말한다. 그 이유는 그 데이터가 대중에게 더 가치있는 이유입니다. 이러한 데이터를 보류 한 연구원들은 데이터를 구매 한 사람들 (모든 사람)에게 장애를 겪고 있으며, 그들의 작은 실험실 및 출판 경쟁을 벗어나는 책임에 대한 교훈이 필요합니다.

만약 연구가 개인적으로 자금을 지원 받았거나, 정말로 개인적으로 자금이 지원 되었다면, 행운을 빕니다.


나는 NIH의 자금 지원과 같은 자료에-보통 다른 유자격 연구자들에게-자료를 공개해야 할 필요가 있다는 것에 동의한다. 그러나 나는 이것을 출판에 대한 임시 요구 사항으로 확장하는 것이 검토 자의 역할을 크게 넘어서는 것이라고 생각합니다.
Fomite

1
(+1) 사려 깊고 잘 표현 된 답변. 명심해야 할 한 가지는이 사이트가 상당히 국제적인 독자가 있다는 것입니다. NIH 나 다른 조직이 팔을 비틀 지 않아도 더 많은 연구원들이 연구와 데이터에 대해 공동의 관점을 갖기를 바랍니다.
추기경

에피 그라드 (EpiGrad)는 답이 명확하지 않은 경우, 리뷰어의 한계를 넘어서는 편집자뿐만 아니라 출판에 대한 특별 요구 사항을 만드는 것을 느꼈습니다.
John

추기경, 칭찬에 감사드립니다. 상기시켜 주셔서 감사합니다. 사이트가 국제적이라는 것을 명심하려고합니다. NIH만큼 큰 것은 우리 나라가 아닙니다. ;)
John

@남자. 네, 방금 당신과 동의하면서 +1을 넣는 것을 잊었습니다 :)
Fomite

6

두 가지 상황을 따로 따로 해결 :

검토 자로서 : 예, 데이터 또는 코드를 보도록 요구할 근거가 있다고 생각합니다. 그러나 내가 당신이라면, 코드 다운 코드 또는 데이터의 하위 샘플과 같은 것을 볼 준비를했습니다. 사람들은이 논문에서보고되지 않은 미래의 연구를 항상 코드로 구현하고 있으며, 귀하는 해당 코드에 대한 권한이 없습니다. 나는 대부분 생의학 연구를 수행하기 때문에 상당히 제한적인 데이터 사용 계약을 처리해야합니다.

저널 자체에서 : 아닙니다. 연구원이 내 결과를 재현하기를 원하는 경우, 나 자신에게 접근하여 코드를 요청할 수 있습니다. 이것이 우리가 해당 저자를 보유한 이유입니다. 어떠한 상황에서도 데이터는 절대로 아닙니다. 내 데이터는 IRB 및 기밀 유지 계약의 적용을받으며 공개되지는 않습니다. 내가 원한다면공개 데이터 세트의 경우 유사한 속성 (예 : R의 네트워크 패키지 중 하나에서 사용할 수있는 "Faux-Mesa"네트워크 데이터)을 사용하여 데이터 세트를 시뮬레이션 할 수 있지만, 검토 자로서이를 강제 할 필요는 없습니다. . 저널 전체의 요구 사항 인 경우, 작성자는 데이터 / 코드를 제출할 때 공개 될 것임을 알고 있지만 그렇지 않은 경우에는 그렇지 않습니다. 귀하의 역할은 논문 자체의 품질을 평가하는 것이므로 (따라서 검토 목적으로 논문을 올바로 사용하는 것), 본질적으로 철학적 / 정치적 요점을 강요하기 위해 논문의 수용 / 거부에 기여하는 능력을 사용하지 마십시오 저널 범위 밖에서.

기껏해야 "나는 가능한 경우 저자가 코드와 데이터를 가능한 한 사용 가능하게 만들 것을 강력히 권유한다"고 말했지만, 그보다 더 강하게 표현하지는 않을 것입니다. "이것이 오늘의 빛을보기 전에 수정이 필요하다고 생각하는 것"의 공식 목록.


편집 한 내용을 방금 확인했습니다.이 경우 논문에 관한 한, 논문에 인용이 있다고 가정하면 실제로는 대답이 더 강합니다. 요청의 요점이 '재생 가능한 연구'이고 데이터를 공개적으로 찾을 수있는 경우, 조사 결과를 확인하려는 연구원이 직접 할 수없는 이유는 없습니다. 더욱이 요점이 실제로 과학을 평가하는 경우, 단순히 "실행"을 클릭하고 동일한 결과를 얻을 수 있다는 것을 보여주기보다는 단순히 분석에서 검색 및 추상화 프로세스를 수행하는 것이 결과를 검증하는 과정의 일부입니다.
Fomite

연구를 재현 할 수 있으려면 분석에 사용 된 코드 및 데이터의 버전을 사용할 수 있어야하고 분석에 사용되지 않은 코드는 예상되지 않거나 반드시 관련이 없을 것입니다.
David LeBauer

@EpiGrad : 어떤 수준에서, 나는이 강한 아니오에 동의하지 않습니다 . Keith Baggerly는 최근이 주제에 대해 복음을 전하고 흥미로운 관찰을합니다. 예를 들어 KA Baggerly와 KR Coombes, 세포주에서 화학 감도 유도 : 법의학 생물 정보학 및 고 처리량 생물학의 재현 가능한 연구 , Ann. Appl. 통계 3 권 4, pp. 1309-1334. 도있다 arxiv 버전 .
추기경

저는 익명화 된 데이터의 출판을 진정으로 제한하는 IRB 및 기밀 유지 문제가있는 연구비 지원 연구비가 거의 없다는 것을 알고 있습니다. 당신이 그 상황에 있다면 그것은 매우 드문 경우입니다.
John

@EpiGrad 나는 또한 강한 아니오 질문 . 메타 분석에서 원시 데이터에서 파생 메트릭으로 가져 오는 데 사용되는 방법에는 개별 연구 수준에서 발생하는 방법론 및 해석의 차이와 관련된 많은 가정이 필요합니다. 이 경우 200 개가 넘는 연구가 표시되므로 데이터 세트를 재구성하는 데 필요한 시간은 엄청날 것이며 궁극적으로 과학 발전의 궁극적 인 목표를 방해 할 것입니다.
David LeBauer

5

으로 요한은 말한다 검토 데이터의 가용성을 생각할 없어야한다; 신중한 검토에는 분석 복제가 포함되어야하며 따라서 데이터에 액세스해야합니다.

출판 후 데이터의 공개 가능성과 관련하여, 특정 제출과 관련한 것이 아니라 저널과의 싸움이 일반적으로 이루어져야한다고 말합니다.

좀 더 일반적으로, 자금 지원 기관과 IRB는 데이터 공유가 과학적으로나 윤리적으로 필요한 연구 요소라는 것을 점점 더 인식하고 있습니다. 올바른 오류 보고서의 새로운 결과를 산출 할 수있는 재분석의 가용성을 높이면 데이터 공유가 연구에 대한 잠재적 이점을 증가시켜 연구 참여자의 이점에 따라 비용 / 혜택 트레이드 오프를 수정합니다. 확실히 참가자들에게 그들의 데이터가 공유 될 가능성을 알리는 것이 필요하며, 참가자들에게 식별 위험이 증가하지 않도록 보호 장치를 설정해야하지만, 대부분의 상황에서 달성 될 수 있습니다. 본인의 연구에서 참가자 (및 IRB)는 (1) 데이터가 강력한 암호화 형식 (복호화 기술이 발전함에 따라 업데이트 됨)으로 저장되며,


1

나는 이것에 대한 경험이 없지만, 당신은 그들의 결과를 검토하는 데있어 당신의 실사의 일환으로 # 1을 고집 할 수있는 것처럼 보입니다. 그래도 # 2를 어떻게 주장 할 수 있는지 모르겠습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.