NoSQL 데이터베이스에 데이터를 기록한 다음 RDBMS로 변환하는 데 유용한 솔루션이 있는지 궁금합니다.
예를 들어 세션 로그와 같은 일부 데이터를 신속하게 캡처하고 싶지만 나중에 해당 데이터에 대한 보고서를 만들 수 있습니다.
내가 가장 좋아하는 데이터베이스는 Postgres이므로 Postgres와 관련이 있다면 좋을 것입니다.
NoSQL 데이터베이스에 데이터를 기록한 다음 RDBMS로 변환하는 데 유용한 솔루션이 있는지 궁금합니다.
예를 들어 세션 로그와 같은 일부 데이터를 신속하게 캡처하고 싶지만 나중에 해당 데이터에 대한 보고서를 만들 수 있습니다.
내가 가장 좋아하는 데이터베이스는 Postgres이므로 Postgres와 관련이 있다면 좋을 것입니다.
답변:
빠른 답변-예. 항상 일어난다.
좋은 해결책이 많이 있습니다. 환경에 어떤 솔루션이 이미 있습니까? 웹 사이트 / 세션 활동 정보를 웹 응용 프로그램에서 가져 와서 XML로 작성한 다음 해당 XML을 Hadoop으로 직렬화 해제하는 한 클라이언트를 돕고 있습니다. 그런 다음 하둡 위에서 Hive를 사용하여 집계 및 사실을 생성합니다 (Postgres 데이터베이스에 저장된 웹 사이트의 데이터를 참조하기 위해이 로그 데이터를 결합 함). 그런 다음 이러한 집계 및 사실을 RDBMS에로드합니다 (SQL Server 스택에서 제공되는 풍부한 분석으로 인해 SQL Server를 사용함).
Hadoop을 탐색하고 Hadoop 위에있는 쿼리 엔진 인 Hive를 살펴보면 SQL과 매우 유사한 선언적 쿼리를 작성하고 뒤에서 MapReduce 작업으로 변환 할 수 있습니다. 그런 다음 데이터 내보내기 / 가져 오기를 지원하는 Hadoop 제품군의 또 다른 도구 인 Sqoop을 살펴보십시오.
http://hadoop.apache.org/ http://www.amazon.com/Hadoop-Definitive-Guide-Tom-White/dp/1449389732/ref=sr_1_1?s=books&ie=UTF8&qid=1319160463&sr=1-1 http : //www.cloudera.com/blog/2009/06/introducing-sqoop/ http://hive.apache.org/
다른 옵션도 있습니다 ...
모든 NoSQL이 같은 것은 아닙니다. 예를 들어 MongoDB에는 매우 우수한 쿼리 기능이 있습니다. 데이터를 검색하고 SQL을 생각 나게하는 방식으로 데이터를 정렬하는 것은 매우 쉽습니다. 따라서 내가 말하는 것은 SQL 준수 데이터를 요구하는 상용 도구가 없다면보고를 위해 SQL을 생각해서는 안된다는 것입니다. 다른 NoSQL 중 일부는 매장에서 SQL과 같은 결과를 얻는 한 약간 더 복잡합니다. 예를 들어 CouchDB는 간단한 where-clause 유형 쿼리를 정의하는 것이 쉽지 않습니다. MongodDB-저는 파이썬 드라이버를 사용했습니다-신병입니다. 따라서 데이터를 관계형 저장소로 이식하는 것에 대해 걱정하는 것이 덜 중요하다는 것을 알게되었습니다.