데이터 과학자 란 무엇입니까?

최근 박사 학위 프로그램 통계를 졸업 한 후 지난 몇 달 동안 통계 분야에서 일자리를 찾기 시작했습니다. 내가 생각한 거의 모든 회사에는 " Data Scientist " 라는 직책을 가진 구인 광고가있었습니다 . 사실 통계학 자나 통계학 자의 직책을 보던 시절은 오래 전에 지나간 것 같았습니다 . 데이터 과학자가 통계학자인 것을 실제로 대체했거나 내가 궁금했던 제목과 동의어가 되었습니까?

글쎄요, 직업 자격의 대부분은 통계학 자의 자격으로 자격이되는 것들과 같은 느낌이었습니다. 대부분의 직업은 통계학 박사 ( ), 실험 설계 ( ), 선형 회귀 및 anova ( ), 일반화 된 선형 모형 ( ) 및 PCA ( ) 와 같은 기타 다변량 방법을 이해해야했습니다. R 또는 SAS ( ) 와 같은 통계 컴퓨팅 환경에 대한 지식뿐만 아니라 데이터 과학자처럼 들리는 것은 실제로 통계학 자의 코드 이름 일뿐입니다.$\checkmark$✓ ✓ ✓ $\checkmark$$\checkmark$$\checkmark$$\checkmark$$\checkmark$

그러나 모든 인터뷰는 "기계 학습 알고리즘에 익숙한가?"라는 질문으로 시작되었습니다. 종종 빅 데이터, 고성능 컴퓨팅, 신경망 관련 주제, CART, 벡터 머신 지원, 나무 부스팅, 감독되지 않은 모델 등에 관한 질문에 답하려고 노력해야한다는 것을 알게되었습니다. 통계 문제를 염두에 두었지만 모든 인터뷰가 끝날 때 나는 데이터 과학자가 무엇인지에 대해 점점 아는 것처럼 느끼지 못했습니다.

통계 학자이지만 데이터 과학자입니까? 나는 과학적인 문제에 대해 연구하므로 과학자 여야합니다! 또한 데이터로 작업하므로 데이터 과학자 여야합니다! Wikipedia에 따르면 대부분의 학자들은 나와 동의 할 것입니다 ( https://en.wikipedia.org/wiki/Data_science 등)

비즈니스 환경에서 "데이터 과학"이라는 용어의 사용이 급증했지만 많은 학자와 언론인은 데이터 과학과 통계를 구분하지 않습니다.

그러나 데이터 과학자 입장에서 이러한 모든 면접을 진행할 때 통계적인 질문을하지 않는 이유는 무엇입니까?

마지막으로 인터뷰를 한 후에 저는 좋은 과학자가하기를 원했고이 문제를 해결하기 위해 데이터를 찾았습니다 (저는 데이터 과학자입니다). 그러나 나중에 수많은 Google 검색을 수행 한 후 데이터 과학자의 정의를 다시 한 번 파악하는 것처럼 느끼기 시작했습니다. 데이터 과학자에 대한 많은 정의가 있기 때문에 데이터 과학자가 무엇인지 정확히 알지 못했습니다 ( http://blog.udacity.com/2014/11/data-science-job-skills.html , http : // www -01.ibm.com/software/data/infosphere/data-scientist/ )하지만 모두가 내가 하나가되고 싶다고 말한 것 같습니다.

• https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/
• http://mashable.com/2014/12/25/data-scientist/#jjgsyhcERZqL
• 등 ... 목록은 계속됩니다.

마지막 날, 제가 알아 낸 것은 "데이터 과학자 란 무엇입니까"라는 대답은 매우 어려운 질문입니다. 도대체 Amstat에는이 질문에 대한 답변을하기 위해 두 달이 걸렸습니다.

• http://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/
• http://magazine.amstat.org/blog/2015/11/01/statnews2015/

글쎄, 지금은 데이터 과학자가되기 위해서는 통계학자가되어야하지만 교차 검증 된 커뮤니티가 약간의 빛을 비추어 데이터 과학자가되는 것이 무엇을 의미하는지 이해할 수 있기를 바랍니다. 모든 통계학자가 데이터 과학자가 아닙니까?

(편집 / 업데이트)

나는 이것이 대화를 강화시킬 것이라고 생각했다. 방금 미국 통계 협회 (American Statistical Association)로부터 Microsoft와 데이터 과학자를 찾고있는 직업에 관한 이메일을 받았습니다. 다음은 링크입니다 데이터 과학자 위치는 . 위치의 역할이 우리가 이야기 한 많은 특정 특성에 영향을 미치기 때문에 이것이 흥미 롭다고 생각하지만 많은 통계에서 매우 엄격한 배경이 필요하고 아래에 게시 된 많은 답변과 모순된다고 생각합니다. 연결이 끊어지면 Microsoft가 데이터 과학자에게 찾는 자질은 다음과 같습니다.

핵심 직무 요구 사항 및 기술 :

분석을 사용한 비즈니스 도메인 경험

• 대규모의 실제 비즈니스 데이터 세트에서 고급 분석을 사용하여 복잡한 비즈니스 문제 및 솔루션을 개념화하기 위해 중요한 사고 기술을 활용하는 데있어 여러 관련 비즈니스 영역에서 경험이 있어야합니다.
• 응시자는 독립적으로 분석 프로젝트를 실행하고 내부 고객이 조사 결과를 이해하고 비즈니스에 도움이되는 조치로 변환 할 수 있어야합니다.

예측 모델링

• 예측 모델링에서 산업 전반의 경험
• 중요한 관계를 이끌어 내고 시스템 범위를 정의하기 위해 고객과의 비즈니스 문제 정의 및 개념 모델링

통계 / 경제

• 연속적이고 범주적인 데이터를위한 탐색 적 데이터 분석
• 기업 및 소비자 행동, 생산 비용, 요소 수요, 개별 선택 및 기타 기술 관계에 대한 구조 모델 방정식의 사양 및 추정
• 연속적이고 범주적인 데이터를 분석하는 고급 통계 기법
• 예측 모델의 시계열 분석 및 구현
• 여러 변수 문제에 대한 지식과 경험
• 모델 정확성을 평가하고 진단 테스트를 수행하는 기능
• 통계 또는 경제 모델을 해석하는 기능
• 개별 이벤트 시뮬레이션 및 동적 시뮬레이션 모델 구축에 대한 지식과 경험

자료 관리

• 데이터 변환을위한 T-SQL 및 분석 사용 및 매우 큰 실제 데이터 세트에 대한 탐색 적 데이터 분석 기술 적용에 익숙
• 데이터 중복성, 데이터 정확도, 비정상 또는 극단적 인 값, 데이터 상호 작용 및 결 측값을 포함한 데이터 무결성에주의를 기울입니다.

커뮤니케이션 및 협업 기술

• 어려운 비즈니스 문제에 대한 혁신적인 솔루션을 연구 할 가상 프로젝트 팀과 독립적으로 작업 할 수 있습니다.
• 파트너와 협력하고 비판적 사고 기술을 적용하며 엔드 투 엔드 분석 프로젝트를 추진합니다.
• 구두 및 서면의 탁월한 의사 소통 기술
• 다양한 이해 관계자들이 소비 할 수있는 형태의 분석 결과 시각화

소프트웨어 패키지

• 고급 통계 / 경제 소프트웨어 패키지 : Python, R, JMP, SAS, Eviews, SAS Enterprise Miner
• 데이터 탐색, 시각화 및 관리 : T-SQL, Excel, PowerBI 및 동등한 도구

자격:

• 최소 5 년 이상의 관련 경험이 필요합니다.
• 양적 분야의 대학원 학위가 바람직합니다.

아직 알려지지 않은 몇 가지 익살스러운 정의가 있습니다.

데이터 과학자 : Mac에서 통계를 수행하는 사람.

나는 그것이 물질보다 과대 광고 각도에서 멋지게 재생되기 때문에 이것을 좋아합니다.

데이터 과학자 : 샌프란시스코에 사는 통계 학자.

마찬가지로,이 모든 것의 서해안 풍미에 관한이 리프.

개인적으로, 나는 토론이 (일반적으로 그리고 여기에서) 다소 지루하고 반복적이라는 것을 안다. 내가 원했던 것에 대해 생각했을 때 (아마도 1/4 세기 전) 정량 분석가를 목표로 삼았다. 그것은 여전히 ​​내가하는 일이며 사랑입니다! 여러분은 다양한 답변으로 여기에 주어진 것을 겹치며 다루고 있습니다.

(참고 : 견적 2에 대한 오래된 소스가 있지만 지금은 찾을 수 없습니다.)

사람들은 데이터 과학을 다르게 정의하지만 일반적인 부분은 다음과 같습니다.

• 데이터를 다루는 방법에 대한 실용적인 지식,
• 실용적인 프로그래밍 기술.

그것의 이름과는 달리, 그것은 거의 "과학"이 아닙니다. 즉, 데이터 과학에서 증거는 과학적 증거, 수학 순도 또는 엄격한 특성이 아닌 실제 결과 (공학과 같은)에 중점을 둡니다. 학업 논문, 기존 라이브러리의 사용, 자신의 코드 또는 즉석 핵을 기반으로하는 경우에는 문제가 발생하지 않으며 거의 ​​차이가 없습니다.

통계학자는 프로그래머가 필요하지 않습니다 (펜 및 종이 및 전용 소프트웨어를 사용할 수 있음). 또한 데이터 과학의 일부 직무는 통계와 아무 관련이 없습니다. 예를 들어, 가장 고급 수학이 평균을 계산하더라도 (개인적으로 나는이 활동을 "데이터 과학"이라고 부르지 않을 것입니다) 빅 데이터 처리와 같은 데이터 엔지니어링입니다. 또한, "데이터 과학"은 과장된 것으로, 접선 적으로 관련된 직종은이 제목을 사용하여 지원자를 유인하거나 현재 근로자의 자아를 키 웁니다.

Quora에 대한 Michael Hochster의 답변에서 분류를 좋아합니다 .

A 형 데이터 과학자 : A는 분석을위한 것입니다. 이 유형은 주로 데이터를 이해하거나 상당히 정적 인 방식으로 작업하는 것과 관련이 있습니다. 유형 A 데이터 과학자는 통계 학자와 매우 유사하지만 통계 커리큘럼에서 가르치지 않은 데이터 작업에 대한 실질적인 세부 사항 (데이터 정리, 대규모 데이터 세트 처리 방법, 시각화)을 모두 알고 있습니다. , 특정 도메인에 대한 깊은 지식, 데이터에 대한 글쓰기 등.

B 형 데이터 과학자 : B는 빌딩입니다. 타입 B 데이터 과학자들은 타입 A와 통계적 배경을 공유하지만, 매우 강력한 코더이며 소프트웨어 엔지니어를 훈련시킬 수도 있습니다. 유형 B 데이터 과학자는 주로 "생산"데이터를 사용하는 데 관심이 있습니다. 사용자와 상호 작용하고 권장 사항 (제품, 아는 사람, 광고, 영화, 검색 결과)을 제공하는 모델을 작성합니다.

그런 의미에서 A 형 데이터 과학자는 프로그래밍 할 수있는 통계 학자입니다. 그러나 정량적 인 부분이라하더라도 정규 통계보다 컴퓨터 과학 (예 : 기계 학습)에 대한 배경 지식이 있거나 데이터 시각화에 중점을 둔 사람들이있을 수 있습니다.

그리고 데이터 과학 벤 다이어그램 (여기 : 해킹 ~ 프로그래밍) :

대체 벤 다이어그램 ( 이것 과 저것 ) 도 참조하십시오 . 또는 유머러스하면서도 데이터 과학자의 전형적인 기술과 활동에 대한 균형 잡힌 목록을 보여주는 짹짹 :

이 게시물을 참조하십시오 : 데이터 과학자-통계 학자, 프로그래머, 컨설턴트 및 Visualizer? .

데이터 과학 분야에 대한 여러 설문 조사가 있습니다. 실제로 데이터 과학 직업을 보유한 사람들의 프로필을 분석하려고 시도하기 때문에 이것을 좋아 합니다 . 그들은 일화적인 증거 나 저자의 편견을 사용하는 대신 데이터 과학 기술을 사용하여 데이터 과학자 DNA를 분석합니다.

데이터 과학자들이 제시 한 기술을 살펴 보는 것이 상당히 드러납니다. 상위 20 개 기술에는 많은 IT 기술이 포함되어 있습니다.

오늘날의 세계에서 데이터 과학자는 모든 거래의 잭이 될 것으로 예상됩니다. 확실한 양적 기초, 프로그래밍에 대한 적성, 무한한 지적 호기심, 훌륭한 의사 소통 기술을 갖춘 자율 학습자.

최신 정보:

통계 학자이지만 데이터 과학자입니까? 나는 과학적인 문제에 대해 연구하므로 과학자 여야합니다!

박사 학위를 받았다면, 특히 논문과 활발한 연구를 발표 한 과학자 일 가능성이 높습니다. 데이터 과학자가되기 위해 과학자 일 필요는 없습니다. Walmart (아래 참조)와 같은 일부 회사에는 PhD가 필요한 역할이 있지만 일반적으로 데이터 과학자는 아래 예에서 볼 수 있듯이 BS 및 MS 학위를 가지고 있습니다.

위의 차트에서 알 수 있듯이 프로그래밍 및 데이터 처리 기술이 우수해야합니다. 또한 데이터 과학은 종종 기계 학습에 대한 전문 지식의 "수준"과 관련이 있습니다. 당신은 통계에 박사 학위가 있다면 당신은 확실히 자신을 데이터 과학자라고 부를 수 있습니다. 그러나 최고 학교의 컴퓨터 과학 박사는 통계 졸업생보다 경쟁력이 높을 수 있습니다. 왜냐하면 고용주가 조합하여 추구하는 강력한 프로그래밍 기술로 보완되는 상당히 강력한 응용 통계 지식이있을 수 있기 때문입니다. 그들에 대항하기 위해서는 강력한 프로그래밍 기술을 습득해야합니다. 흥미로운 점은 일반적으로 모든 통계 박사 학위는 약간의 프로그래밍 경험이 있지만 데이터 과학에서는 종종 요구 사항이 그보다 훨씬 높다는 것입니다.

나에게 통계에 박사 학위를 갖는 이점은 "무엇의 주인"이라는 말에서 "모든 거래의 잭"이라는 말의 나머지 부분에서 문제가 발생한다는 것입니다. 약간의 모든 것을 아는 사람들을 갖는 것이 좋지만, 통계 나 컴퓨터 과학이 중요하지 않은지 여부를 항상 깊이 알고있는 사람들을 찾습니다. 중요한 것은 그 사람이 바닥에 도달 할 수 있다는 것입니다. 필요할 때 편리한 품질입니다.

설문 조사에는 데이터 과학자의 최고 고용주도 나와 있습니다. 분명히 마이크로 소프트가 정상에 올라 섰다. 그들이 무엇을 찾고 있는지 더 잘 알고 싶다면 Jobs 섹션에서 "data science"로 LinkeIn을 검색하면 도움이됩니다. 아래는 LinkedIn에서 MS와 Walmart가 취한 두 가지 발췌 내용입니다.

• Microsoft 데이터 과학자

  • 데이터 처리 시스템 / 서비스 구축에서 5 년 이상의 소프트웨어 개발 경험
  • 통계, 데이터 마이닝 또는 기계 학습을 전문으로하는 컴퓨터 과학, EE 또는 수학 학사 또는 그 이상의 자격.
  • 대규모 데이터 조작에 탁월한 프로그래밍 기술 (C #, Java, Python 등)
  • 하둡 또는 기타 빅 데이터 처리 기술에 대한 실무 지식
  • 분석 제품에 대한 지식 (예 : R, SQL AS, SAS, Mahout 등)은 플러스입니다.

stat 패키지를 아는 것이 플러스에 불과하지만 Java에서 뛰어난 프로그래밍 기술이 필요하다는 점에 유의하십시오.

• 월마트, 데이터 과학자

  • 컴퓨터 과학 또는 이와 유사한 분야의 박사 학위 또는 2-5 년 이상의 관련 경험을 가진 MS
  • C ++ 또는 Java의 우수한 기능적 코딩 기술 (Java가 선호 됨)
  • C ++ / Java / Hadoop / Hive로 프로덕션 코드를 작성하는 데 하루 최대 10 %의 작업 일을 소비 할 수 있어야합니다.
  • Python 또는 Perl과 같은 스크립팅 언어 중 하나에 대한 전문가 수준의 지식.
  • 대용량 데이터 세트 및 분산 컴퓨팅 도구를 사용한 경험 (Map / Reduce, Hadoop, Hive, Spark 등)

여기에는 박사 학위가 선호되지만 컴퓨터 과학 전공 만 명명됩니다. Hadoop 또는 Spark를 사용한 분산 컴퓨팅은 아마도 통계 학자에게는 특이한 기술이지만 일부 이론 물리학 자와 응용 수학자는 비슷한 도구를 사용합니다.

업데이트 2 :

데이터 과학자 "제목" "그것은 이미 죽여 할 때입니다" 라는 제목의 2012 년 하버드 비즈니스 리뷰 (Harvard Business Review)에있는 문서 공동 작성 토마스 데이븐포트 말한다 "21 세기의 가장 섹시한 작업 데이터 과학자" 종류의 데이터 과학자 열풍을 시작했다 :

"데이터 과학자"라고 말하거나 고용하고 싶다고 말하는 것이 오늘날의 의미는 무엇입니까?

어딘가에서 이것을 읽었습니다 (편집 : 조쉬 윌이 자신의 트윗을 설명합니다 ) :

데이터 과학자는 모든 통계 학자보다 통계에 능숙하고 프로그래밍에 능숙한 사람입니다.

이 인용문은이 데이터 과학 프로세스에 의해 간단히 설명 될 수 있습니다 . 이 체계에 대한 첫 번째 모습은 "글쎄, 프로그래밍 부분은 어디에 있습니까?"처럼 보이지만, 많은 데이터가 있으면 처리 할 수 ​​있어야합니다.

나는 몇 가지 답변을 썼고 매번 그들이 길어질 때마다 비누 상자에 올라 가기로 결정했습니다. 그러나 나는이 대화가 두 가지 중요한 요소를 완전히 탐구하지는 않았다고 생각한다.

1. 과학 데이터 과학이다. 과학적인 접근 방식은 자신의 모델, 이론, 기능, 기술 선택 등을 파괴하려는 시도이며 그렇게 할 수없는 경우에만 결과가 유용 할 수 있다는 사실을 받아들입니다. 그것은 사고 방식이며 내가 만난 최고의 데이터 과학자 중 다수는 어려운 과학 배경 (화학, 생물학, 공학)을 가지고 있습니다.

2. 데이터 과학은 광범위한 분야입니다. 좋은 데이터 과학 성과는 일반적으로 소규모의 데이터 과학자 팀으로 구성되며 각 팀마다 고유 한 전문성을 갖습니다. 예를 들어, 한 팀원은보다 엄격하고 통계적이며, 다른 팀원은 엔지니어링 배경을 가진 더 나은 프로그래머이며 다른 팀원은 비즈니스에 정통한 강력한 컨설턴트입니다. 이 세 가지 모두 주제를 빨리 배우고 호기심이 많고 고통 스럽지만 진실을 찾고 고객이 '내부 또는 외부'고객의 이익을 위해 최선을 다하는 일을하기를 원합니다. 이해하지 못한다.

지난 몇 년간의 유행은 이제 사라지고 있다고 생각합니다. 클러스터 기술 (Hadoop 생태계 등)을 마스터 한 컴퓨터 과학자들을 모집하여 이것이 이상적인 데이터 과학자라고 말합니다. 나는 그것이 OP가 직면 한 것이라고 생각하며, OP가 엄격하고 정확하며 과학적 사고로 그들의 강점을 강요하도록 권고합니다.

나는 Bitwise가 대부분의 답변을 다루고 있다고 생각하지만 2c를 추가 할 것입니다.

아니요, 죄송하지만 통계 전문가는 적어도 오늘날 대부분의 회사에서 역할을 정의하는 방식에 따라 데이터 과학자가 아닙니다. 정의는 시간이 지남에 따라 변경되었으며, 실무자들의 한 가지 과제는 이들이 관련성을 유지하는 것입니다.

"데이터 과학자"역할 후보를 거부하는 데 대한 몇 가지 일반적인 이유를 알려 드리겠습니다.

• 작업 범위에 대한 기대 일반적으로 DS는 독립적으로 작동 할 수 있어야합니다. 즉, 자신에게 할당 된 문제를 해결하기 위해 데이터 집합을 만들 사람이 아무도 없습니다. 따라서 데이터 소스를 찾고, 쿼리하고, 솔루션을 모델링 한 다음, 종종 문제를 해결하는 프로토 타입을 만들 수 있어야합니다. 여러 번 그것은 단순히 대시 보드, 알람 또는 지속적으로 업데이트되는 실시간 보고서를 만드는 것입니다.
• 커뮤니케이션 . 많은 통계 학자들이 자신의 아이디어를 사업 사람들에게 "단순화"하고 "매각"하는 데 어려움을 겪고있는 것 같습니다. 방에있는 모든 사람이 얻을 수있는 방식으로 하나의 그래프 만 표시하고 데이터에서 스토리를 전달할 수 있습니까? 문제가 발생한 경우 분석의 모든 비트를 방어 할 수 있다는 것을 확인한 후에야합니다.
• 코딩 기술 . 프로덕션 수준의 코딩 기술은 필요하지 않습니다. 개발자에게는 해당 기능이 있지만 프로토 타입을 작성하여 AWS EC2 인스턴스에서 웹 서비스로 배포 할 수 있어야합니다. 따라서 코딩 기술이 R 스크립트를 작성할 수있는 능력을 의미하지는 않습니다. 리눅스 어딘가에 유창함을 더할 수 있습니다. 따라서 막대는 대부분의 통계학자가 믿는 경향보다 높을뿐입니다.
• SQL과 데이터베이스 . 아니요, 그는 이미 알고있는 기본 SQL을 조정하고 Redshift, HIVE 및 Presto를 포함하여 조직 전체에서 사용하는 여러 가지 DB 시스템을 쿼리하는 방법을 익혀야하므로 실제로 업무를 수행 할 수 없습니다. 고유 한 SQL 맛을 사용합니다. 또한, 작업에 대한 SQL 학습은 응시자가 효율적인 쿼리 작성 방법을 배울 때까지 다른 모든 분석가에게 문제를 일으킬 것임을 의미합니다.
• 기계 학습 . 일반적으로 그들은 주어진 데이터 셋 (Kaggle 스타일)을 기반으로 문제를 해결하기 위해 로지스틱 회귀 또는 다른 기술을 거의 사용하지 않았습니다. 그러나 인터뷰는 알고리즘 및 방법에서 시작하더라도 기능 생성 (데이터 세트를 생성 할 필요가없고 데이터 세트를 생성 할 사람이 없음), 유지 관리 성, 확장 성 및 성능 및 관련 기능과 같은 주제에 곧 초점을 맞 춥니 다. 트레이드 오프. 일부 상황 에서는 NIPS 2015에 게시 된 Google에서 관련 문서 를 확인할 수 있습니다 .
• 텍스트 분석 . 필수는 아니지만 자연어 처리에 대한 경험이 있으면 좋습니다. 결국 데이터의 많은 부분이 텍스트 형식입니다. 논의한 바와 같이, ML 또는 다른 통계적 접근에 의해 소비 될 수 있도록 변환을하고 텍스트를 정리할 다른 사람은 없습니다. 또한 오늘날 CS 졸업생조차도 이미이 상자를 선택하는 일부 프로젝트를 수행했습니다.

물론 주니어 역할의 경우 위의 모든 것을 가질 수는 없습니다. 그러나이 기술 중 몇 가지를 놓치고 일자리를 얻을 수 있습니까?

마지막으로, 비 통계학자를 거부하는 가장 일반적인 이유는 통계에 대한 기본 지식조차 부족하기 때문입니다. 그리고 어딘가에 데이터 엔지니어와 데이터 과학자간에 차이가 있습니다. 그럼에도 불구하고, 데이터 엔지니어는 "통계"가 단지 평균, 분산 및 정규 분포라고 생각하기 때문에 이러한 역할을 신청하는 경향이 있습니다. 따라서 우리는 "통계"에 의해 의미하는 바를 명확히하고 혼란을 방지하기 위해 작업 설명에 몇 가지 관련이 있지만 무서운 통계 용어 를 추가 할 수 있습니다 .

과대 광고와 유행어를 무시할 수 있습니다. "데이터 과학자"(또는 당신이 부르고 싶은 것은 무엇이든)는 실제이고 통계 학자와는 다르다고 생각합니다. 효과적으로 데이터 과학자라는 많은 유형의 입장이 있지만 그 이름이 주어지지 않았습니다. 하나의 예는 유전체학에서 일하는 사람들입니다.

내가 보는 방식으로, 데이터 과학자는 많은 양의 복잡한 데이터에 대한 연구를 설계하고 실행하는 기술과 전문 지식을 갖춘 사람입니다 (예 : 기본 메커니즘이 알려지지 않은 복잡한 차원).

이것은 다음을 의미합니다.

• 프로그래밍 : 분석 및 파이프 라인을 구현할 수 있으며, 종종 일정 수준의 병렬화가 필요하며 데이터베이스 및 고성능 컴퓨팅 리소스와의 인터페이스가 필요합니다.
• 컴퓨터 과학 (알고리즘) : 선택한 분석이 가능하고 오류율이 제어되도록 효율적인 알고리즘을 설계 / 선택합니다. 때로는 수치 분석, 최적화 등에 대한 지식이 필요할 수도 있습니다.
• 컴퓨터 과학 / 통계 (일반적으로 기계 학습에 중점을 둡니다) : 데이터에 대한 질문을하거나 데이터에서 "패턴"을 찾기 위해 프레임 워크를 설계 및 구현합니다. 여기에는 다양한 테스트 / 도구 / 알고리즘에 대한 지식뿐만 아니라 적절한 홀드 아웃, 교차 검증 등을 디자인하는 방법도 포함됩니다.
• 모델링 : 종종 우리는 유용한 예측을하고 데이터의 기본 메커니즘에 대한 통찰력을 얻을 수 있도록 더 간단한 데이터 표현을 제공하는 일부 모델을 만들려고합니다. 확률 모델은 이것에 매우 인기가 있습니다.
• 도메인 별 전문 지식 : 복잡한 데이터를 성공적으로 사용하는 데있어 중요한 측면 중 하나는 도메인 별 통찰력을 통합하는 것입니다. 따라서 데이터 과학자가 도메인에 대한 전문 지식을 갖추고 있거나 새로운 분야를 빠르게 배울 수 있거나 해당 분야의 전문가와 잘 연락하여 데이터에 접근하는 방법에 대한 유용한 통찰력을 얻을 수 있어야합니다. .

그러나 모든 훌륭한 답변은 구직 경험에서 "데이터 과학자"라는 용어가 내가 접촉 한 채용 담당자의 마음에 "주니어 데이터 분석가"와 혼동되어 있음을 언급했습니다. 따라서 통계 경험이없는 많은 훌륭한 사람들은 2 년 전에 한 기초 과정을 제외하고는 이제 스스로 데이터 과학자라고 불렀습니다. 컴퓨터 과학 배경과 데이터 분석가로서 수년간의 경험을 가진 사람으로서, 나는 나중에 경력에서 통계학 박사 학위를 취득하여 군중과 차별화되는 데 도움이 될 것이라고 생각했습니다. ". 나는 "통계 학자"로 되돌아 갈 수 있다고 생각합니다!

저는 하급 직원이지만 제 직책은 "데이터 과학자"입니다. Bitwise의 답변은 내가 고용 한 일에 대한 적절한 설명이라고 생각하지만 직장에서의 일상 경험을 기반으로 포인트를 하나 더 추가하고 싶습니다.

과학은 탐구 과정입니다. 데이터가 해당 문의를 수행하는 수단 인 경우 데이터 과학이 진행되고 있습니다. 그렇다고해서 데이터를 실험하거나 연구하는 모든 사람이 반드시 데이터 과학자라는 것을 의미하는 것은 아니며, 배선을 실험하거나 연구하는 모든 사람이 반드시 전기 기술자가되는 것은 아닙니다. 그러나 그것은 전문 전기 기술자가되기에 충분한 훈련을 습득 할 수있는 것과 같은 방법으로, 전문적인 "데이터 조사자"가되기 위해 충분한 훈련을 습득 할 수 있다는 것을 의미합니다. 이 교육은 비트 와이즈 (Bitwise)의 답변에서 요점으로 구성되어 있으며 그 중 통계는 구성 요소이지만 전체는 아닙니다.

표트르의 대답은 또한 내가 모든 일의 좋은 요약 할 필요가 내가 특정 주에 수행하는 방법을 알고 싶어합니다. 지금까지 저의 일은 벤 다이어그램의 "위험 구역"구성 요소에 속하는 이전 직원의 피해를 되 돌리는 데 주로 도움이되었습니다.

또한 최근에는 데이터 과학에 대한 경력에 관심을 가지게되었고, 내가 취하고 (그리고 즐겼던) 수많은 통계 과정과 비교하여 데이터 과학 직업에 대해 배운 것을 생각할 때 데이터 과학자를 다음과 같이 생각하기 시작했습니다. 데이터에 관심을 보인 컴퓨터 과학자들. 특히 다음과 같은 주요 차이점을 지적했습니다. 차이점은 분위기로 나타납니다. 다음은 내 주관적인 인상을 반영한 것으로, 나는 일반성을 주장하지 않습니다. 내 인상 만!

1. 통계에서는 분포, 확률 및 추론 절차 (기본 분포 인 가설 검정 수행 방법 등)에 대해 많은주의를 기울입니다. 내가 이해 한 바에 따르면, 데이터 과학은 종종 예측에 관한 것이 아니며, 추론 적 진술에 대한 걱정은 어느 정도까지 교차 검증과 같은 컴퓨터 과학의 절차에 의해 흡수됩니다.

2. 통계 과정에서 나는 종종 내 자신의 데이터를 만들었거나 다소 깨끗한 형식으로 제공되는 기성품 데이터를 사용했습니다. 즉, 멋진 직사각형 형식, Excel 스프레드 시트 또는 RAM에 잘 맞는 것과 같은 것을 의미합니다. 데이터 정리는 분명히 관련이 있지만 더 이상 RAM에 맞지 않는 데이터를 보유하기 위해 설정해야하는 데이터베이스는 물론 웹에서 "추출"데이터를 처리 할 필요가 없었습니다. 제 생각에는이 계산적 측면이 데이터 과학에서 훨씬 더 지배적이라는 것입니다.

3. 어쩌면 이것은 통계학자가 일반적인 통계 작업에서하는 일에 대한 무지를 반영 할 수도 있지만 데이터 과학 이전에는 모델을 더 큰 제품으로 만드는 것에 대해 생각하지 않았습니다. 수행해야 할 분석, 통계적 문제 해결, 추정 할 일부 매개 변수 등이 있습니다. 데이터 과학에서, 종종 (항상 그런 것은 아니지만) 예측 모델이 더 큰 것으로 내장되어있는 것 같습니다. 예를 들어, 어딘가를 클릭하면 밀리 초 내에 예측 알고리즘이 결과로 표시되는 내용을 결정합니다. 통계에서, 나는 항상 "어떻게 추정 할 수 있고, 어떻게 우아하게 처리 할 수 ​​있을까"궁금했지만, 데이터 과학에서 "데이터 제품에 잠재적으로 유용 할 것으로 예측할 수있는 것"에 더 중점을 둔 것으로 보입니다. .

다시, 위의 내용은 일반적인 정의를 제공하지 않습니다. 나는 내가 인식 한 주요 차이점을 지적하고있다. 나는 아직 데이터 과학에 종사하지는 않지만 내년에는 전환을 희망합니다. 이런 의미에서 소금 한 알을 내 2 센트로 가져갑니다.

필자는 데이터 과학자가 결과를 통계적으로 견실하게 (중요한) 만드는 방법을 사용하여 사람이 읽을 수있는 비즈니스 용 결과를 만드는 역할이라고 말합니다.

이 정의의 어떤 부분도 따르지 않으면 개발자, 진정한 과학자 / 통계 학자 또는 데이터 엔지니어에 대해 이야기합니다.

나는 항상 문제의 본질을 자르기를 좋아합니다.

statistics - science + some computer stuff + hype = data science

데이터 과학은 분석적으로 복잡한 문제를 해결하기 위해 데이터 추론, 알고리즘 개발 및 기술을 종합적으로 혼합 한 것입니다. 그러나 데이터 과학자의 부족으로 인해 데이터 과학 분야의 경력은 실제로 수많은 기회를 창출 할 수 있습니다. 그러나 조직은 SAS, DASCA ( Data Science Council of America ), Hortonworks 등의 공인 전문가를 찾고 있습니다 . 이것이 좋은 정보 가기를 바랍니다.

데이터 과학자 는 Python, MySQL 및 Java 개발에 매우 ​​능숙합니다.

수학, 통계, 데이터 마이닝, 예측 분석 기술에 대한 분석 기능에 대한 명확한 이해가 있으며 Python 및 R과 같은 코딩 언어에 대한 지식이 풍부합니다.

많은 데이터 과학자들이 현재 박사 학위를 보유하고 있습니다. 또는 실제로 연구에 따르면 약 8 % 만 단순히 학사 학위를 가지고 있으므로 훨씬 더 심도 있습니다.

데이터를 기반으로 의사 결정을 내리는 통계 모델 작성 각 결정은 어렵거나, 예를 들어 페이지 렌더링을 차단하거나, 예를 들어 하향 시스템이나 사람이 사용하는 페이지의 악의에 대한 점수를 지정하는 등의 방법 일 수 있습니다.

관찰 된 현상의 근본 원인을 나타내는 인과성 실험 수행. 이것은 A / B 실험을 설계하거나 A / B 실험이 문제에 역학 접근법을 적용 할 수없는 경우에 수행 될 수있다 (예 : @ Rubin causal model)

데이터 가치의 잠금을 해제하여 제공되는 새로운 제품 또는 기능 식별 데이터의 가치에 대한 사고의 리더가되는 것. 이에 대한 좋은 예는 Amazon이 대중에게 처음으로 제공 한 제품 권장 사항 기능입니다.

귀하의 질문에 "데이터 과학자 란 무엇입니까?" http://sites.temple.edu/deepstat/data-scientist-and-data-mechanic/에 명시된 바와 같이 데이터 과학자와 데이터 정비공의 차이점을 인식하는 것이 좋습니다 .