예를 들어 인프라 스택 / 워크 플로우 / 파이프 라인

hadoop, monogodb / nosql, storm, kafka와 같은 실제 사용 사례에서 모든 "빅 데이터"구성 요소가 함께 작동하는 방식을 이해하려고 노력 중입니다. ... 앱, 웹앱, 온라인 상점에 대한 머신 러닝 학습과 같은 애플리케이션에서의 상호 작용에 대해 더 자세히 알고 싶습니다.

나는 vistors / session, transaction data 등을 가지고 있고 그것을 저장한다; 그러나 즉시 추천을하고 싶다면 내가 가지고있는 큰 로그 데이터베이스에서 느린 맵 / 축소 작업을 실행할 수 없습니다. 인프라 측면에 대한 자세한 정보는 어디서 얻을 수 있습니까? 나는 대부분의 도구를 스스로 사용할 수 있다고 생각하지만 서로 연결하는 것은 그 자체의 예술인 것 같습니다.

공개 사례 / 사용 사례 등이 있습니까? 개별 파이프 라인은 사용 사례와 사용자에 따라 크게 다르지만 예제는 나에게 매우 유용 할 것입니다.

머신 러닝을 프로덕션 응용 프로그램에 통합 할 수있는 다양한 방법을 이해하려면 인프라를 설명하는 회사의 오픈 소스 프로젝트와 논문 / 블로그 게시물을 보는 것이 유용하다고 생각합니다.

이러한 시스템의 공통 주제는 모델 응용 프로그램에서 모델 교육을 분리하는 것입니다. 생산 시스템에서, 모델 적용은 100ms의 속도로 빨라야하지만, 적합 모델 파라미터 (또는 이와 동등한)를 얼마나 자주 업데이트해야하는지에 대한 자유가 더 많습니다.

사람들은 모델 교육 및 배포를 위해 광범위한 솔루션을 사용합니다.

• 모델을 빌드 한 다음 PMML을 사용하여 모델을 내보내고 배치하십시오.

  • AirBnB는 R / Python에서 의 모델 교육 과 OpenScoring을 통한 PMML 모델 배포에 대해 설명합니다 .

  • 패턴 은 PMML을 소비하고 예측 모델을 배포 할 수있는 계단식 과 관련된 프로젝트 입니다.

• MapReduce에서 모델 작성 및 사용자 정의 시스템의 값에 액세스

  • Conjecture는 Etsy의 오픈 소스 프로젝트로 , MapReduce 주변에서 스칼라 래퍼를 사용하기 쉬운 Scalding 을 사용한 모델 교육과 Php를 통한 배포가 가능한 모델입니다.

  • Kiji는 WibiData의 오픈 소스 프로젝트로 , 실시간 모델 스코어링 (애플리케이션)은 물론 Scalding 을 통해 해당 데이터에 대한 사용자 데이터 및 교육 모델을 유지하기위한 기능도 제공 합니다.

• 모델 매개 변수를 지속적으로 업데이트 할 수있는 온라인 시스템을 사용하십시오.

  • Google 은 Google 뉴스의 권장 사항을 처리하기 위해 구현 한 온라인 협업 필터링에 대한 훌륭한 논문을 발표했습니다 .

복잡한 분석 파이프 라인을 설정하는 가장 상세하고 명확한 설명 중 하나는 Twitch 의 사람들 입니다.
수집, 운송, 조정, 처리, 저장 및 데이터 쿼리에 대한 각 아키텍처 선택에 대한 자세한 동기를 부여합니다.
설득력있는 독서! 여기 와 여기에서 찾으 십시오 .

에어 비앤비 와 Etsy 는 최근 워크 플로에 대한 자세한 정보를 게시했습니다.

R의 실용 데이터 과학 1 장 ( http://www.manning.com/zumel/ )은 팀 역할 및 특정 작업과의 관계를 포함하여 데이터 과학 프로세스를 크게 분석했습니다. 이 책은이 단계 또는 특정 작업이 수행 될 단계 / 인원을 참조하여 장에 제시된 모델을 따릅니다.