요구 사항에 3 개의 거대한 테이블 (구조화 된 데이터)이 있고 각각에 300 억 개의 행 (총 4TB 크기)이 있고 많은 동시 사용자 (원격 LAN 시스템의 병렬 OS 스레드)가 SELELCT WHERE GROUPBY 쿼리를 통한 데이터 및 동시 동시 (예 : 10,000 개의 동시 읽기) 및 사용자는 2000 개의 동시 작성기 (데이터 센터 LAN 네트워크 전체)와 매우 동시 적으로이 테이블에 데이터를 삽입 (업데이트하지 않아야 함)해야합니다. . 사용자는 각 읽기 및 쓰기가 발생하는이 저장소에서 가능한 한 빨리 읽고 삽입하여 ms ~ 1 초 범위를 원할 것입니다.
이러한 요구 사항을 충족시키기 위해 어떤 기술을 권장합니까? 이를 수행 할 수있는 데이터 저장소 또는 키 값 저장소가 있습니까? 클라우드는 옵션이 아닙니다.
일부 설명 :
사용자는 즉시 데이터를 볼 필요가 없으며 최종 일관성이 허용됩니다. 데이터는 스토리지가 제공 할 수있는 드라이버를 통해 액세스하며 사용자는 데이터 센터의 원격 시스템에서 실행중인 스레드 일뿐입니다. 쿼리는 주로 SELECT WHERE GROUPBY와 비슷합니다.
데이터는 테이블 형식이며 각 행은 약 60 바이트입니다.
DynamoDB 또는 유사한 솔루션을 사용할 수없는 클라우드 옵션이 없습니다. 데이터 센터에서 내부적으로 호스팅 할 수 있어야합니다.
테이블의 모든 데이터를 항상 읽을 수 있으며 사용 패턴을 예측할 수 없습니다. 조인 또는 초장 쿼리가 없습니다. DR은 필요하지 않지만 합리적인 HA가 필요하지만 화려한 것은 아닙니다. 모든 독자는 where 절과 행이 실제로 관련되지 않은 행을 기반으로 배치를 가져옵니다. 각 행마다 고정 길이를 가질 수는 있지만 스토리지 계층이 걱정할 것으로 기대합니다.
또한, 가장 큰 관심사는 동시 읽기로 발생하는 모든 동시 쓰기입니다.
이에 대한 귀하의 통찰력은 높이 평가됩니다.
그리고 더 많은 것은 다른 객체 유형을 보유하는 각 300 억 개의 행이있는 3 개의 테이블이 있습니다.