Elasticsearch와 표준 SQL 쿼리를 사용하는 몇 가지 사용 사례는 무엇입니까? [닫은]

방금 Elasticsearch를 시작하는 중이며 내가 본 주요 사용 사례 중 하나는 대규모 데이터 세트에 대한 검색을 통한 확장 성이지만,이 외에도 기존 RDBMS로 SQL 쿼리를 생성하는 것보다 언제 사용하고 싶습니까?

두 가지 기본 Elasticsearch 사용 사례가 있습니다.

1. 텍스트 검색

기존 RDBMS 데이터베이스가 제대로 작동하지 않는 많은 텍스트 검색을 수행 할 때 Elasticsearch가 필요합니다 (구성 불량, 블랙 박스 역할, 성능 저하). Elasticsearch는 플러그인을 통해 사용자 정의가 가능하고 확장 가능합니다. 많은 지식 없이도 강력한 검색을 빠르게 구축 할 수 있습니다.

2. 로깅 및 분석

또 다른 엣지 사례는 많은 사람들이 Elasticsearch를 사용하여 다양한 소스의 로그를 저장하고 (중앙 집중화하기 위해),이를 분석하고 이해할 수 있다는 것입니다. 이 경우 Kibana가 편리해집니다. Elasticsearch 클러스터에 연결하여 즉시 시각화를 생성 할 수 있습니다. 예를 들어 Loggly 는 Elasticsearch와 를 사용하여 구축되었습니다.

Elasticsearch를 기본 데이터 스토리지로 사용하고 싶지는 않을 것입니다. 이유 : 쓰기 손실, 데이터 가용성과 같은 요인에 대해 ElasticSearch가 기본 데이터 저장소로 얼마나 안정적인지

최신 정보

두 번째 부분은 더 이상 날카롭지 않다고 느꼈습니다. 실제로 Elastic은 작년에 회사로서 정말 잘 해왔 던 것입니다. 현재 DevOps 이동, CI / CD 파이프 라인, 다양한 소스의 메트릭 증가로 인해 ELK는 인프라 모니터링을위한 실질적인 선택이되었으며 더 이상 분산 된 RESTful 텍스트 검색 엔진이 아닙니다. 놀라운 제품 세트가 있습니다.

• Logstash (수많은 데이터 입력)
• 비트
  • Filebeat
  • Metricbeat
  • Packetbeat
  • Winlogbeat
• Kibana
  • 그래프
  • Timelion
• X-Pack (프리미엄)
  • 경고
  • 보고
  • 보안
  • 기계 학습
  • 교차 데이터 센터 메트릭

커뮤니티에 의해 구축 된 생태계는 현재 기능을 확장하는 ELK 스택을 중심으로 성장하고 있으며 그중 몇 가지는 언급 할 가치가 있습니다.

• ElastAlert
• 가드 검색

다른 답변과 함께 추가하기 위해 로깅은 검색뿐만 아니라 여전히 주요 사용 사례이지만 이제는 지표와 분석이 더욱 중요 해지고 있습니다.

이 글은 빅 데이터의 새로운 사용 사례를 주도하는 시장의 변화를 요약 한 것이라고 생각합니다. 오픈 소스 데이터베이스에 대해 알아야 할 모든 것

Web 2.0의 출현으로 정적 인 웹 페이지는 역동적으로 변했고 소셜 미디어는 우리 주변에 있습니다. 모두가 트윗하고, 게시하고, 블로깅하고, 동영상 블로그를 작성하고, 사진을 공유하고, 채팅하고, 댓글을 달고 있습니다. 사물 인터넷 (IoT)이 부상하고 있습니다. 센서 및 스마트 장치와 같은 데이터를 수집하고 교환하는 연결된 장치의 네트워크가 빠르게 성장하고 있습니다. 여기에 몇 가지 훌륭한 예가 있습니다.

전체적으로, 이는 기업이 제품 추천 및 더 나은 고객 경험과 같은 기능을 제공하기 위해 흡수하고 앞서 나가기 위해 사용하려는 엄청난 양의 새로운 데이터를 생성합니다. 사기 탐지 및 행동 분석과 같은 애플리케이션의 패턴을 검색하여 데이터를 분석 할 수 있습니다. 새로운 데이터의 대부분은 구조화되지 않았기 때문에 테이블 형식 데이터베이스에 깔끔하게 저장할 수 없습니다.

식료품 쇼핑에 대한 데이터를 보관하기 위해 데이터베이스를 설계하려고한다고 상상해보십시오. 커피와 함께 우유 또는 크림을 선호하든, 좋아하는 것, 구매하는 빈도 등. 새로운 데이터를 저장하려면 새로운 유형의 데이터베이스가 필요하며, 비 관계적이고 이상적으로는 저비용이어야합니다. 종을 울리시겠습니까? NoSQL에서와 같이 관계가없고 오픈 소스와 같이 비용이 저렴합니다.

제가 인터뷰 한 Elasticsearch 설계자 중 한 명이 Elasticsearch가 회사에서 사용하는 데이터의 80 %는 구조화되지 않은 반면 20 %는 구조화되어 있다고 말했습니다. 기업이 희귀하거나 비정상적인 데이터 패턴을 발견하기 위해 찾고있는 것은 비정형 데이터입니다. 또한 데이터 패턴 모니터링을 위해 Elasticsearch를 사용하고 있습니다. 예를 들어, 한 주요 소매 업체는 사람들이 급여일에 수표를 현금화 할 수 있도록 매장에서 적절한 자금 공급을 보장하기 위해 Elasticsearch로 실시간 추적을 수행하고 있습니다.

검색 사용 사례에 대한 내 경험상 퍼지 검색을 사용할뿐만 아니라 자동 완성 및 빠른 검색으로 발전했습니다. 내가 본 바에 따르면 Elasticsearch로 작업을 시작하면 이미 보유한 것을 보완하는 다른 사용 사례로 진화하기 시작합니다. 이제 Elasticsearch를 회사에서 퍼지 검색 엔진으로 설정 했으므로 이제 다른 팀에서 로깅을위한 분석 및 메트릭을 조사하고 있습니다.

다음은이 주제에 대해 자세히 설명하는 몇 가지 추가 리소스입니다.

• Elasticsearch 사용 사례, 사용자의 이야기
• Elasticsearch의 사용
• Elasticsearch Anaytics 사용 사례
• 문서 스토리지에 대한 Elasticsearch 사용 사례
• Elasticsearch를 사용한 그래프
• 법의학 분석 : 파나마 페이퍼 스와 군중의 지혜
• Elasticsearch를 사용한 기계 학습 소개