인터넷 회사는 왜 데이터 과학자 직업에 Java / Python을 선호합니까?

데이터 과학자가 Python / Java 경험을 요구하고 R을 무시하는 작업 설명에서 여러 번 보았습니다. 아래는 링크 인을 통해 신청 한 회사의 수석 데이터 과학자로부터받은 개인 이메일입니다.

X, 연결하고 관심을 가져 주셔서 감사합니다. 당신은 좋은 분석 기술이 있습니다. 그러나 인터넷 / 모바일 조직이므로 모든 데이터 과학자는 Java / Python에서 우수한 프로그래밍 기술을 보유하고 있어야합니다.

나는 수석 데이터 과학자의 결정을 존중하지만, R이 할 수없는 파이썬이 할 수있는 작업에 대한 명확한 그림을 얻을 수 없습니다. 누구나 정교하게 관리 할 수 ​​있습니까? 좀 더 자세한 정보를 얻으면 실제로 Python / Java를 배우고 싶어합니다.

편집 : Quora에 대한 흥미로운 토론을 찾았습니다. 왜 파이썬이 데이터 과학자들에게 선택된 언어입니까?

Edit2 : Udacity의 기계 학습을위한 언어 및 라이브러리 블로그

따라서 나머지 코드베이스와 통합 할 수 있습니다. 회사에서 Java와 Python을 혼합하여 사용하는 것 같습니다. 사이트의 작은 구석에 기계 학습이 필요한 경우 어떻게해야합니까? 데이터베이스 또는 캐시를 사용하여 데이터를 전달하고 R 등으로 드롭합니까? 왜 같은 언어로만하지 않습니까? 더 빠르고 깨끗하며 유지 관리가 쉽습니다.

R에서만 실행되는 온라인 회사를 알고 있습니까? 나도 ...

Java는 내가 데이터 과학을하는 마지막 언어입니다.

다음과 같은 많은 이유가있을 수 있습니다.

1. 인력 유연성 : 한 Java / Python 프로그래머는 다른 작업이나 프로젝트로 쉽게 이동할 수 있습니다.

2. 지원 가능성 : 많은 Java / Python 프로그래머가 있습니다. 자격을 갖춘 근로자가 없거나 너무 비싸다는 것을 알기 위해 새로운 프로그래밍 언어를 도입하고 싶지 않습니다.

3. 통합 및 ETL : 때때로 올바른 품질의 데이터를 얻는 것이 프로젝트의 가장 어려운 부분입니다. 따라서 나머지 시스템과 동일한 언어를 사용하는 것이 당연합니다.

4. 비즈니스 모델 정의 : 대부분의 비즈니스 규칙 및 비즈니스 모델은 이미이 언어로 작성되었습니다.

5. 일을 단순하게 유지하십시오. 기술을 최신 상태로 유지하는 것은 이미 어려운 일입니다. 다양한 언어 기반이 혼란 스러울 수 있습니다. 이것에 대한 R, 루비, Scala, Clojure, F #, Swift, Dart ... 그들은 다른 서버, 다른 경로, 관리하기 어려운 지옥이 필요할 수 있습니다. 모두 도구와 플러그인이있는 자체 IDE가 있습니다 (항상 무료는 아님). 언어 선택 과 새로운 기술에 관한 Bob 아저씨의 요점을보십시오

따라서 특정 작업에 R을 사용하여 5 %-15 %의 생산성 이점이 있더라도 가장 효율적인 방법은 아니더라도 작업을 수행하는 도구를 선호 할 수 있습니다.

순수한 데이터 과학 및 통계 연습을 위해 R이 가장 빠르고 가장 빠른 data.table도구 (특히 패키지를 사용하는 경우 ) 도구와 메소드를 제공한다는 점은 사실입니다. ). 대부분의 데이터 과학자는 실제로 R을 사용하여 모델과 계산을 수행하거나 데이터의 작동 방식을 확인합니다.

운동이 완료되면 운동을 사용해야하는 다른 사람들이 운동을 사용할 수있게됩니다 (즉, 배치). 이 목적을 위해 종종 두 가지 주요 이유로 파이썬으로 코드를 제출하는 것이 선호됩니다.

1. 대부분의 아키텍처는 Python으로 작성되었거나 Python에 친숙하므로 해당 언어로 기본적으로 작성된 모델을 구현하는 것이 더 쉽습니다.
2. R 구문과 문법은 매우 복잡합니다. 나 자신도 다른 것보다 R을 강력하게 선호하지만 구문이 실제로 간단하지 않으며 매우 선택된 학습 곡선을 가지고 있음을 인정해야합니다.

위에서 말했듯이 메소드, 라이브러리 및 패키지를 사용할 수있는 경우 R 코드를 다른 언어로 쉽게 번역 할 수 있다는 것은 여전히 ​​사실입니다 (파이썬에서는 대부분 문제가되지 않습니다). 많은 인프라와 데이터베이스가 기본 R 코드를 지원하므로 이식성이 실제로 문제가되지는 않습니다. 특히 계산 결과를 제출해야하는 경우 (확장하기 위해 아무도 기본 코드를 실제로 보지 못합니다).

Java는 순수한 데이터 과학 자체에는 거의 쓸모가 없습니다 (Stanford University에는 Java로 작성된 기계 학습 NLP 라이브러리 모음이 있지만 기억 나는 한도 있지만 확인하십시오). 그것이 필요할 수있는 유일한 이유는 회사의 나머지 부분이 그것을 광범위하게 사용하고 새로운 것으로 대체하고 싶지 않기 때문입니다.

"데이터 엔지니어"유형 역할에 대해 데이터 과학자라는 제목을 사용하는 회사가 많이 있습니다. 특히 큰 데이터 공간에서.

회사에서 Hadoop 또는 Spark와 같은 분산 프레임 워크를 사용하여 분석을 수행하는 경우 Java 또는 Python (또는 스칼라)이 가장 적합한 언어가됩니다.

자바

Java 질문에 대한 다른 포스터와 동의하지 않아야합니다. java에서 mapreduce 작업 을 작성 해야하는 특정 noSQL 데이터베이스 (예 : hadoop)가 있습니다. 이제 HIVE 를 사용 하여 거의 동일한 결과를 얻을 수 있습니다.

파이썬

파이썬 / R 토론이 계속됩니다. 둘 다 확장 가능한 언어이므로 둘 다 동일한 처리 능력을 가질 수 있습니다. 나는 R 만 알고 파이썬 지식은 매우 피상적입니다. 중소 기업 소유자라고 말하면 비즈니스에 너무 많은 도구가 필요하지 않습니다. 그렇지 않으면 전반적인 깊이가 부족하고 지원이 어려울 수 있습니다. 나는 그것이 팀의 도구 지식의 깊이에 올 것이라고 생각합니다. 팀이 파이썬에 중점을 둔 경우 다른 파이썬 데이터 과학자를 고용하면 기존 코드베이스 및 역사적인 실험 코드에 참여할 수 있으므로 의미가 있습니다.

적어도 현재 팀 (~ 80 명의 데이터 과학자 및 엔지니어)에게는 그러한 선호도가 없습니다. 여기서 데이터 과학자의 절반은 R을 사용하고 다른 절반은 Python을 사용합니다. 많은 사람들이 둘 다 코딩 할 수 있습니다. 프로덕션 환경에서 Python 및 R 코드를 배포합니다.

데이터 과학자 중 어느 누구도 Java를 전혀 사용하지 않는다고 생각합니다. 빅 데이터를 처리해야하는 경우 SparkSQL 또는 PySpark를 사용할 수 있습니다. 데이터 엔지니어링 팀은 Java / Scala / Python / Go를 혼합하여 사용합니다.

소규모 회사의 소수의 데이터 사용자 중 하나 인 경우 특정 언어 기술이 필요한 이유를 이해할 수 있으므로 데이터 과학과 엔지니어링을 모두 수행 할 수 있습니다. 그러나 tbh, 대부분의 소기업에는 Python 또는 R이 프로덕션에서 처리 할 수 ​​없을만큼 큰 데이터가 없을 것이라고 생각합니다.

R은 약간의 R 경험을 가진 범용 프로그래머로서의 관점 : R은 데이터 과학에는 탁월하지만 수동으로 데이터를 해석하는 사람들을 대상으로합니다. 자동화 된 결과에 결과를 사용하려면 다른 것과 상호 작용해야하며 R과 같은 문제 별 언어에서는 다른 것이 어렵습니다. R에서 웹 사이트를 수행 할 수 있습니까? :) 반면에, 파이썬은 데이터 과학 관련 라이브러리를 만들었으며 다른 용도로는 방해가되지 않는 범용 프로그래밍 언어입니다. Java의 경우 수십만에서 수백만 줄의 코드가있는 대규모 프로그래밍 프로젝트에 적합합니다. 데이터 과학 부분이 그와 인터페이스해야 할 경우 Java로 모든 것을 수행하는 것이 좋습니다.

무작위 경고음 : 각 StackExchange 사이트에 개별적으로 로그인해야하는 이유는 무엇입니까?

Python의 도구는 R보다 낫습니다. Ther R 커뮤니티는 정체되어 있지만 Python 커뮤니티는 정말 빠르게 발전하고 있습니다. 특히 데이터 과학 도구에서.
또한 파이썬은 주변의 모든 것들과 함께 더 쉽게 작동합니다. 웹을 쉽게 긁거나 데이터베이스에 연결할 수 있습니다. 프로토 타입 제작이 정말 빠릅니다.
프로토 타입이 있고 프로토 타입을 더 빠르게 만들거나 회사 워크 플로에 통합하려는 경우 일반적으로 Java로 다시 구현됩니다.

R에는 몇 가지 깔끔한 도구와 시각화 기능이 있지만 새로운 도구를 만드는 것은 그리 좋지 않습니다.