다양한 유형의 산업에서 Big Data Analytic을 사용하는 방법에 대한 블로그 / 기사를 많이 읽었습니다. 그러나이 기사의 대부분은 언급하지 않습니다
누군가 가이 모든 질문에 대한 답변을 제공 할 수 있는지 또는 질문 중 일부에 대한 답변을 제공하는 링크가 있는지 궁금합니다. 실제 사례를 찾고 있습니다.
금융 업계가 Big Data Analytic을 어떻게 사용하고 있는지 공유하는 것이 좋을 것입니다.
답변:
뉴스 매체는 "빅 데이터"를 매우 느슨하게 사용하는 경향이 있습니다. 공급 업체는 일반적으로 특정 제품과 관련된 사례 연구를 제공합니다. 오픈 소스 구현에는 그다지 많지 않지만 언급되어 있습니다. 예를 들어, Apache는 hadoop에 대한 사례 연구를 작성하는 데 많은 시간을 할애하지 않지만 Cloudera 및 Hortonworks와 같은 공급 업체는 아마도 그럴 것입니다.
다음 은 금융 부문의 Cloudera 사례 사례 입니다.
연구 인용 :
하나의 주요 글로벌 금융 서비스 대기업은 Cloudera와 Datameer를 사용하여 불량 거래 활동을 식별합니다. 이 회사의 자산 관리 그룹 내 팀은 가격, 포지션 및 주문 정보의 일일 피드에 대한 임시 분석을 수행하고 있습니다. 모든 상세 데이터에 대해 임시 분석을 수행하면 그룹이 특정 자산 클래스에서 이상을 감지하고 의심스러운 동작을 식별 할 수 있습니다. 이전에는 사용자가 데스크톱 스프레드 시트 도구에만 의존했습니다. 이제 Datameer와 Cloudera를 통해 사용자는 더 많은 데이터를 더 빨리 선별하고 잠재적 손실을 막기 시작할 수있는 강력한 플랫폼을 보유하게되었습니다.
.
선도적 인 소매 은행은 Cloudera와 Datameer를 사용하여 Dodd-Frank Act 및 기타 규정에 따라 데이터 정확성과 품질을 검증하고 있습니다. 은행의 데이터 품질 이니셔티브는 자산 관리 데이터뿐만 아니라 대출 및 지점 데이터를 통합하여 모든 기록의 정확성을 보장합니다. 이 프로세스에는 데이터를 50 개가 넘는 데이터 무결성 및 품질 검사에 적용하는 것이 포함됩니다. 이러한 검사 결과는 시간이 지남에 따라 데이터 손상 및 데이터 도메인에 대한 허용 오차가 변경되지 않고 투자자 및 규제 기관에보고되는 위험 프로필이 신중하고 규제 요구 사항을 준수하는지 확인하는 경향이 있습니다. 결과는 데이터 품질 대시 보드를 통해 최고 리스크 책임자와 최고 재무 책임자에게보고됩니다.
Cloudera에서 다른 금융 관련 연구는 보지 못했지만 검색은 열심히하지 않았습니다. 그들의 도서관을 여기서 볼 수 있습니다 .
또한 Hortonworks는 K-means, Hadoop 및 R을 활용하여 전략을 개발하는 데 걸리는 시간이 20 % 감소한 Trading Strategies 사례 연구를 보유 하고 있습니다.
이것들이 모든 질문에 대한 답변은 아닙니다. 나는이 두 연구가 그들 대부분을 다루었다고 확신한다. 공구 선택에 대해서는 구체적으로 볼 수 없습니다. 영업 담당자는 전체 제품을 출시하는 것과 많은 관련이 있다고 생각하지만 데이터 과학자들은 자신들이 가장 편한 도구를 활용했습니다. 빅 데이터 공간에서 해당 영역에 대한 통찰력이 없습니다.
금융 서비스는 빅 데이터의 큰 사용자이며 혁신가이기도합니다. 한 예로 모기지 채권 거래가 있습니다. 그것에 대한 질문에 대답하려면 :
이 회사들은 어떤 종류의 데이터를 사용 했습니까? 데이터의 크기는 얼마입니까?
데이터를 처리하는 데 어떤 종류의 도구 기술이 사용 되었습니까?
그건 다양하다. 일부는 Netezza 또는 Teradata와 같은 데이터베이스에 구축 된 사내 솔루션을 사용합니다. 다른 사람들은 데이터 공급자가 제공 한 시스템을 통해 데이터에 액세스합니다. (Corelogic, Experian 등) 일부 은행은 KDB 또는 1010data와 같은 열 데이터베이스 기술을 사용합니다.
그들이 직면 한 문제는 무엇이며 데이터를 얻는 통찰력으로 문제를 해결하는 데 도움이되었습니다.
주요 이슈는 모기지 채권 (모기지 담보 증권)이 선불 또는 채무 불이행시기를 결정하는 것입니다. 이것은 정부 보증이없는 채권에 특히 중요합니다. 지불 내역, 신용 파일을 파고 집의 현재 가치를 이해함으로써 채무 불이행 가능성을 예측할 수 있습니다. 이자율 모델 및 선불 모델을 추가하면 선불 가능성을 예측하는 데 도움이됩니다.
그들이 자신의 필요에 맞게 도구 / 기술을 선택한 방법.
프로젝트가 내부 IT에 의해 주도되는 경우 일반적으로 Oracle, Teradata 또는 Netezza와 같은 대규모 데이터베이스 공급 업체를 기반으로합니다. 퀀트에 의해 구동되는 경우 데이터 공급 업체 또는 타사 "All in"시스템으로 곧바로 갈 가능성이 높습니다.
데이터에서 어떤 종류의 패턴을 식별했으며 데이터에서 어떤 종류의 패턴을보고 있었습니까?
20,000,000.
Kaggle 은 간단한 응용 프로그램 요약을 제공합니다.
Revolution Analytics 는 많은 일반적인 사례 연구, 데이터 시트 및 백서를 발표했습니다.
과학 및 공학 응용 분야의 경우 Nutonian 사례 연구를 참조 할 수 있습니다 .
Analyx 는 잠재 고객에게 상거래 응용 프로그램에 대해 말했습니다.
파이낸셜 타임즈 (Financial Times) 빅 데이터의 비즈니스 응용 프로그램에 대한 이야기의 컬렉션을 발표 :
맥킨지 는 2011 년에 다시 애플리케이션을 설명했습니다.
다른 컨설팅 회사들도 비슷한 보고서를 작성했습니다.
Gartner 는 빅 데이터에 대한 과대 광고주기를 만들었습니다.
제품 홍보를 원하는 다른 회사의 사례 연구 및 백서는 말할 것도 없습니다.
O'Reilly 무료 데이터 보고서를 살펴보십시오 . 뱅킹 및 핀 테크, 스포츠, 패션, 음악, 건강, 석유 및 가스 등에 대한 보고서를 찾을 수 있습니다.
앞에서 언급 한 McKinsey 보고서는 고전적인 보고서이며 반드시 읽어야합니다.