데이터 과학자들이 Excel을 사용합니까?

나는 나 자신을 여행가 데이터 과학자라고 생각할 것이다. 대부분의 (제 생각에), 저는 첫 차트를 만들었고 Excel을 사용하여 고등학교와 대학에서 첫 집계를했습니다. 대학, 대학원, 7 년 간의 업무 경험을 통해 SQL, R, Python, Hadoop, LaTeX 등과 같은 고급 도구로 간주되는 것을 빠르게 선택했습니다.

우리는 데이터 과학자 직책에 대해 인터뷰하고 있으며 한 후보자는 15 년 이상의 경험을 가진 "최고의 데이터 과학자"(요즘 매우 희미한 용어)로 자신을 광고합니다. 자신이 선호하는 툴셋이 무엇인지 물었을 때 그는 Excel이라고 대답했습니다.

나는 그가 이력서가 주장하는 것만 큼 경험이 없었지만 확실하지 않다는 증거로 이것을 사용했습니다. 결국 내가 선호하는 도구가 아니기 때문에 다른 사람들이 아니라는 것을 의미하지는 않습니다. 숙련 된 데이터 과학자가 Excel을 사용합니까? 주로 Excel을 사용하는 사람의 경험이 부족하다고 가정 할 수 있습니까?

기술이 아닌 사람들은 대부분 Excel을 데이터베이스 대체로 사용합니다. 나는 그것이 잘못되었지만 견딜 수 있다고 생각합니다. 그러나 데이터 분석에 경험이있는 사람은 Excel을 기본 도구로 사용할 수 없습니다 (처음으로 데이터를 보는 명백한 작업 제외). Excel은 그런 종류의 분석을 목적으로 한 것이 아니기 때문에 Excel에서 실수를하는 것이 매우 쉽습니다 (다른 도구를 사용할 때 다른 유형의 실수를하는 것이 엄청나게 쉽지는 않지만) Excel은 상황을 더욱 악화시킵니다.)

Excel에없는 것과 분석에 필요한 사항을 요약하려면 :

1. 재현성. 데이터 분석은 재현 가능해야합니다.
2. 버전 관리. 협업 및 재현성에도 좋습니다. xls를 사용하는 대신 csv를 사용하십시오 (여전히 매우 복잡하고 많은 경우가 있지만 csv 파서는 오늘날에는 상당히 좋습니다.)
3. 테스트. 테스트가 없으면 코드가 손상된 것입니다. 코드가 손상되면 분석이 쓸모없는 것보다 나쁩니다.
4. 유지 보수성.
5. 정확성. Excel에서는 수치 정확도, 정확한 날짜 구문 분석이 실제로 부족합니다.

추가 자료 :

유럽 ​​스프레드 시트 위험 관리 그룹-공포 사례

중요한 작업을 위해 스프레드 시트를 사용해서는 안됩니다.

Microsoft의 Excel은 지구상에서 가장 위험한 소프트웨어 일 수 있습니다

이 이상한 속임수로 Excel을 사용하여 데이터를 파괴하십시오!

Excel 스프레드 시트가 제대로 작성되지 않습니다

숙련 된 데이터 과학자가 Excel을 사용합니까?

필자는 선호도 또는 작업장의 비즈니스 및 IT 환경에 따라 Excel을 사용하는 숙련 된 데이터 과학자를 보았습니다 (예 : 많은 금융 기관이 Excel을 주요 도구로 사용합니다). 그러나 대부분의 숙련 된 데이터 과학자는 특정 작업에 최적 인 도구를 사용해야한다는 점을 인식하고 이러한 접근 방식을 고수합니다.

주로 Excel을 사용하는 사람의 경험이 부족하다고 가정 할 수 있습니까?

아니 당신은 할 수 없습니다. 이것은 위에서 언급 한 생각의 추론입니다. 데이터 과학은 빅 데이터를 자동으로 암시하지 않습니다. Excel에서 처리 할 수있는 많은 데이터 과학 작업이 있습니다. 데이터 과학자 (심지어 숙련 된 전문가)가 빅 데이터 중심 도구를 포함하여 최신 데이터 과학 도구에 대한 지식 (적어도 기본적)을 가지고 있지 않다면 다소 혼란 스럽다고합니다. 탐색 적 데이터 분석이 필수적이며 심지어 중요한 부분이기 때문에 실험이 데이터 과학의 본질에 깊이 뿌리 박혀 있기 때문입니다. 따라서 자신의 영역 내에서 다른 도구를 탐색하려는 충동이없는 사람은 데이터 과학 직종에 대한 전반적인 적합성에서 후보자 사이에서 더 낮은 순위를 지정할 수 있습니다. 신소재 플러스

결론적으로, 경험이 많은 데이터 과학자가 선호하는 도구와 관련하여 질문에 대한 최선의 대답은 다음과 같습니다. 내가 선호하는 도구는 최적의 도구, 즉 현재 작업에 가장 적합한 도구입니다.

나는 대부분의 사람들이 엑셀에 대한 좋은 지식 없이도 대답하고 있다고 생각합니다. Excel (2010 년 이후)에는 파워 피벗 (csv / database 등의 입력 허용)이라고하는 메모리 내 컬럼 형 [멀티 테이블] 데이터베이스가있어 수백만 행을 저장할 수 있습니다 (스프레드 시트에로드 할 필요가 없음). . 또한 파워 쿼리라는 ETL 도구를 사용하여 다양한 소스 (hadoop 포함)의 데이터를 읽을 수 있습니다. 그리고 시각화 도구 (파워 뷰 및 파워 맵)가 있습니다. 많은 데이터 과학이 파워 피벗이 탁월한 집계 및 최고 분석을 수행하고 있습니다. 이 도구의 대화 형 특성을 추가하십시오. 모든 사용자가 쉽게 결과를 나눌 수있는 치수를 끌어서 놓을 수 있습니다. 이점을 볼 수 있기를 바랍니다. 예, 머신 러닝을 할 수는 없습니다.

John Foreman은 자신의 저서 인 Data Smart에서 Excel을 사용하여 일반적인 데이터 과학 문제 (클러스터링, 순진한 베이, 앙상블 방법 등)를 해결합니다. 실제로 Python 또는 R에 대한 지식이 있으면 좋지만 Excel은 여전히 ​​대부분의 작업을 수행 할 수 있다고 생각합니다!

나는 실제로해야 할 일이 아니라 직업의 차가움에 얼마나 많은 사람들이 붙어 있는가에 놀랐습니다. Excel은 무료 Powerpivot, Powerquery와 함께 훌륭한 도구이며 많은 일을 할 수 있습니다. (OS X에서는 사용할 수 없습니다). VBA를 알고 있다면 좋은 일을 할 수 있습니다. 그리고 파이썬에 대한 지식을 더하면 데이터 추출 및 조작의 첫 단계를 파이썬과 결합 한 다음 특히 시각적 인 사람이라면 Excel을 사용할 수 있습니다. Excel을 사용하면 추가 프로세스에 공급하거나 시각화하기 전에 집계 된 데이터를 실제로 검사 할 수 있습니다. 도구가 있어야합니다.

Excel은 아주 작은 데이터 만 허용하며 머신 러닝이나 플로팅에 충분히 유용하고 융통성있는 것은 없습니다. Excel에서 내가 할 일은 눈으로 볼 수있는 것을 놓치지 않도록 값의 첫눈에 데이터의 하위 집합을 응시하는 것입니다.

따라서 그가 가장 좋아하는 도구가 Excel이라면 머신 러닝, 통계, 더 큰 데이터 크기 또는 고급 플로팅을 거의 다루지 않을 것입니다. 이런 사람은 데이터 과학자라고 부르지 않을 것입니다. 물론 제목은 중요하지 않으며 요구 사항에 따라 다릅니다.

어쨌든 경험이나 이력서에 의해 판단하지 마십시오. 나는 이력서를 보았고 그 뒤에 사람들을 알고있었습니다.

가정하지 마십시오. 그를 테스트하십시오! 테스트를 설정하기에 충분해야합니다. 인터뷰만으로도 기술을 판단하는 데 쓸모가 거의없는 것으로 나타났습니다 (개성 만 보여줌). 매우 간단한지도 학습 테스트를 설정하고 원하는 도구를 사용할 수있게합니다.

인터뷰에서 먼저 사람들을 선별하려면 통계 나 머신 러닝에 대한 매우 기본적이지만 중요한 통찰력을 물어보십시오. 현재 직원 모두가 알고있는 것.

프로그래머와 데이터베이스 개발자의 관점에서 데이터 과학으로의 여행을 시작하고 있음을 먼저 설명하겠습니다. 저는 10 년 간의 데이터 과학 전문가도 아니고 통계적인 신도 아닙니다. 그러나 전 세계의 대규모 고객과 협력하는 회사의 데이터 과학자 및 대규모 데이터 세트를 작업하고 있습니다.

내 경험상 데이터 과학자는 작업을 수행하는 데 필요한 도구를 사용합니다. Excel, R, SAS, Python 등은 모두 훌륭한 데이터 과학자를위한 도구 상자의 도구입니다. 최상의 도구는 다양한 도구를 사용하여 데이터를 분석하고 크 런칭 할 수 있습니다.

따라서 R과 Python을 비교하면 데이터 과학 세계에서 R이 모두 잘못되었을 가능성이 큽니다. 훌륭한 데이터 과학자는 둘 다 사용하는 것이 합리적 일 때 두 가지를 모두 사용합니다. 이것은 Excel에도 적용됩니다.

다양한 도구와 언어에 경험이있는 모든 사람을 찾기가 쉽지 않다고 생각합니다. 또한 복잡한 알고리즘을 프로그래밍 할 수있을뿐만 아니라 통계적 관점에서이를 사용하는 방법을 알고있는 데이터 과학자를 구체적으로 찾기가 어려울 것이라고 생각합니다.

제가 작업 한 데이터 과학자의 대부분은 약 2 가지 맛이 있습니다. 프로그래밍 할 수있는 것과 할 수없는 것. 파이썬에서 데이터를 가져 와서 Pandas와 같은 데이터로 조작하고 R의 데이터에 모델을 맞추고 일주일이 끝날 때 데이터를 관리 할 수있는 데이터 과학자와 거의 일하지 않습니다.

나는 그들이 존재한다는 것을 알고 있습니다. 웹 스크래퍼를 개발하고 Hadoop으로 푸시하고 파이썬으로 가져와 복잡한 것을 프로그래밍하고 R을 통해 부팅하여 실행하는 사람들의 많은 데이터 과학 블로그를 읽었습니다. 존재합니다. 저기 있어요 나는 그 모든 것을 할 수있는 너무 많이 뛰어 들지 않았습니다. 어쩌면 그것은 내 지역일까요?

그렇다면 그것은 한 가지 나쁜 것만 전문화한다는 의미입니까? 아닙니다. 많은 친구들이 단 하나의 주요 언어를 전문으로하고 죽입니다. 나는 R 만 알고 그것을 죽이는 많은 데이터 사람들을 알고 있습니다. 또한 데이터를 분석하기 위해 Excel을 사용하는 많은 사람들도 알고 있습니다. 왜냐하면 그것이 대부분의 비 데이터 과학자가 열 수 있고 사용할 수있는 유일한 것 (특히 B2B 회사)이기 때문입니다. 당신이 정말로 대답해야 할 질문은이 것이이 직책에 필요한 것 중 하나입니까? 그리고 가장 중요한 것은 새로운 것을 배울 수 있습니까?

추신

데이터 과학은 단지 "BIG DATA"또는 NoSQL로 제한되지 않습니다.

Excel은 탐색 적 데이터 분석을위한 훌륭한 도구가 될 수 있으며 실제로는 사용자의 요구에 따라 달라지며 물론 도구와 마찬가지로 한계가 있지만 Excel은 데이터 과학 분야의 명예의 전당에 위치해야합니다.

실제로 대부분의 사용자는 어쨌든 SQL 쿼리에서 생성 된 데이터 집합이 크게 줄어드는 것을 기억할 가치가 있습니다.

Excel은 피벗 테이블과 함께 "테이블"개체를 사용할 때 데이터를 탐색하는 데 강력합니다. 시각화는 최대 1-2 회의 클릭이며 파워 포인트의 많은 Excel 차트는 예를 들어, 과학 컴퓨팅 컨텍스트. 대화 형 특성으로 빠르게 탐색 할 수 있습니다.

"테이블"개체의 장점은 데이터를 Excel로 더 변환 할 때 새로운 분포를 탐색 할 수 있도록 피벗 테이블이 모두 변수를 기억한다는 것입니다.

엑셀이 약한 곳은 수식 목록이 논란의 여지가있는 것입니다. 예를 들어 SQL case 문이나 python 문은 끝없는 if 함수 체인보다 훨씬 유연합니다.

그것은 실제로 당신의 요구에 달려 있지만 Excel은 확실히 데이터 과학 명예의 전당에 위치 할 가치가 있습니다.

흥미로운 일화, 페이스 북 뉴스 피드 알고리즘을 다루는 팀은 모두 정기적으로 엑셀과 많은 스프레드 시트를 가지고 노는 것을 볼 수 있습니다.

SQL과 Excel이 포함 된 비즈니스 분석 과정을 가르칩니다. 나는 비즈니스 스쿨에서 가르치므로 학생들은 기술적으로 가장 능력이 뛰어나지 않기 때문에 R, Pandas 또는 Weka와 같은 것을 사용하지 않았습니다. 즉, Excel은 일부 데이터 분석에 사용할 수있는 강력한 도구입니다. 데이터 마이닝 추가 기능을 사용하여 프런트 엔드 역할을하는 SQL Server Analysis Services (데이터 분석을위한 SQL Server의 구성 요소) 기능을 통해이 기능을 최대한 활용할 수 있습니다.

SSAS를 사용하면 의사 결정 트리를 구성하고 선형 및 로지스틱 회귀를 수행하며 베이지안 또는 신경망을 만들 수도 있습니다. Excel을 프런트 엔드로 사용하는 것이 이전에 Excel을 사용했기 때문에 이러한 종류의 분석을 수행하는 데 덜 위협적인 접근 방식이라는 것을 알았습니다. Excel없이 SSAS를 사용하는 방법은 특수한 버전의 Visual Studio를 사용하는 것이므로 가장 사용자 친화적 인 도구는 아닙니다. Power Query 및 Power Pivot과 같은 몇 가지 다른 Excel 도구와 결합하면 상당히 정교한 데이터 분석을 수행 할 수 있습니다.

전체 공개, 내년에 새로운 버전의 강의를 가르 칠 때 다시 사용하지 않을 것입니다 (데이터 분석에 더 중점을 둘 수 있도록 두 개의 강좌로 나누고 있습니다). 그러나 그것은 대학이 Alteryx에 대한 충분한 라이센스를 얻을 수 있었기 때문입니다. Alteryx는 사용하기 쉽고 강력하지만 어떻게 든 무료로 얻을 수 없다면 연간 $ 4-85k입니다. Excel에 대해 무엇을할지 말하지만 그 가격대를 능가합니다.

Excel은 훌륭한 도구가 될 수 있습니다. 물론, 당신이하는 일에 따라 청구서에 맞지 않을 수도 있지만, 그렇다면 청구서를 기각하는 것이 거의 어리 석습니다. 파이프 라인을 설정하는 데 시간이 걸리지 만 Excel에서는 기본 제공 UI, Python에서도 VBA를 통해 쉽게 확장 할 수 있습니다 (예 : https://www.xlwings.org ). 버전 제어와 같은 경우에는 이상적이지 않지만 Git과 함께 작동시키는 방법이 있습니다 (예 : https://www.xltrail.com/blog/auto-export-vba-commit-hook ).

이 개인은 '빅 데이터'와 함께 일하며 주로 Excel을 사용합니까? 진심으로?!?! Excel은 단일 스프레드 시트에서 최대 1, 048, 576 행의 데이터 만 처리합니다. 그 이상의 데이터 세트에는 플러그인이 필요합니다. 또한 Excel의 피벗 테이블에는이를 사용하여 수행 할 수있는 분석에 심각한 제한이 있습니다.

모집중인 작업에서 어떤 유형의 데이터 분석 작업을 수행해야합니까?

고려중인 작업에서 수행해야 할 작업에 대한 테스트가 포함 된 인터뷰를 수행 할 것을 제안합니다. 기밀성, 개인 정보 보호 또는 데이터 보호를 위반하지 않으면 서 인터뷰의 일부로 설정된 프로그래밍 또는 데이터 분석 작업에는 인터뷰 대상 게시물과 관련된 데이터 세트의 (가명 화 된) 서브 세트가 포함되어야합니다. 그렇지 않으면 대화 기반 인터뷰에서 명료하지만 실제로 실제 업무를 수행하는 데 능숙하지 않은 사람을 모집하게 될 수 있습니다.