기록하는 습관

분산 된 데이터 검색의 과제 문제: 느슨하게 결한 된 여러 독립 서비스에서 데이터를 검색하려고 함. 해결법 1. 모든 정보가 포함 된 단일 데이터베이스가 있다면 검색이 쉬울 것. a. 문제점: 단일 데이터베이스에는 팀이 독립적으로 작업할 수 있는 유연성이 제한, 대규모 성능이 제한됨. 2. 데이터 자체 색인을 작성하는 사용자 지정 집계 서비스를 사용하는 것. 데이터 인덱싱 GraphQL을 사용하여 데이터를 인덱싱 하려면? - GraphQL 쿼리를 업데이트 하여 관련 데이터를 검색한 다음 데이터베이스에 해당 쿼리를 한 번씩 호출해 결과를 ES에 색인화 할 수 있음 ES에는 데이터를 인덱싱 할 때 많은 사용자 정의 옵션이 있지만 대부분 기본 설정이 좋은 결과를 제공함. GraphQL 쿼리를 사용해 스키마를 ..

ES with English 분석 분석 문장: “It's my PReTty.hat_Yellow! $20.12 15.5% on sale. i ate pizza” ** Tokenizer로 분류 1. Standard 공백으로 텀을 구분하면서 일부 특수문자 제거 Filter Result 분석 속도 - It’s my, PReTty.hat_Yellow, 20.12, 15.5, on, sale, i, ate, pizza 4ms lowercase It's, my, pretty.hat_yellow, 20.12, 15.5, on, sale, i, ate, pizza 4ms Stemmer It’, my, PReTty.hat_Yellow, 20.12, 15.5, on, sale, i, at, pizza 특징: It’s -> ..

Logstash - 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스. - 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있는 능력이 있음. 공식 문서: www.elastic.co/guide/en/logstash/7.6/introduction.html 특징 1. 강력한 Elastic / Kibana와의 시너지와 함께 수평적으로 데이터 프로세스 파이프라인이 스케일업 할 수 있음 2. 다른 input, filter, output 플러그인들을 mix, match 할 수 있다. 3. 200 개가 넘는 플러그인 사용이 가능함 4. 플러그인을 새로 생성하고 기여할 수 있음. Logstash Pipeline Logstash Execution Model Pipeline 3가..

Elasticsearch Client 실무에선 대량의 요청을 처리하기 위해 ES에 접근할 때 전용 클라이언트 모듈을 많이 사용한다. Rest Client Java High Level REST Client 라고도 불림 HTTP 방식 사용 내부적으로 HttpClient 모듈 사용 Transport Client Java Client 라고도 불림 초기부터 제공되던 클라이언트 방식으로, 상대적으로 빠른 속도를 보장함. Socket 이용 내부적으로 Netty 모듈 사용 ** ES 7.0 이후 부터는 Transport 클라이언트가 폐기 되었기 때문에 REST 클라이언트를 사용해야 함.!! Rest Client를 사용하는 이유 - Transport 클라이언트의 요청: JSON 파싱 -> 자바 객체로 변환 -> Tran..

Elasticsearch Shard 최적화 운영 중에 shard의 개수를 수정하지 못하는 이유 - ES Shard는 Lucene index의 확장. - 각 shard는 내부에 독립적인 Lucene 라이브러리를 가지고 있고, Lucene은 단일 머신 위에서만 동작(Stand Alone)하는 검색엔진임. - shard 내부의 Lucene 입장에서는 함께 인덱스를 구성하는 다른 shard의 존재를 모름! - 프라이머리 shard의 개수를 변경한다는 것 == 독립적인 Lucene이 가지고 있는 데이터를 모두 재조정 한다는 뜻. o 이는 세그먼트를 재조정 해야 하는데, 세그먼트의 불변성 때문에 불가능함. 1. Index를 생성할 때 한 번 설정된 shard의 개수는 절대!! 변경이 불가능하므로 데이터의 크기가 최..

Elasticsearch와 Lucene Elasticsearch는 Shard 내부에 Lucene library를 가지고 있음 Elasticsearch는 각 shard가 가지고 있는 Lucene을 제어할 수 있으며, 실시간 검색에 가깝게 동작하기 위해 주기적으로 인메모리 버퍼에 대해 Flush 작업을 수행함 Lucene: 다수의 class로 구성된 검색 library이다. 중요한 class IndexWriter : 데이터를 색인하는 클래스 IndexSearcher : 색인된 데이터를 검색 결과로 제공하는 클래스 Lucene 인덱스 내부에는 Segment 자료구조가 다수 존재. Segment를 이용해 검색을 수행함 Segment는 역색인 구조. Lucene 인덱스의 한계 데이터를 저장할 때 물리 머신이 제공..

노드의 종류 마스터 노드(Master node) 노드 추가/제거 등의 클러스터 전반적인 관리 네트워크 속도가 빠르고 지연이 없는 노드를 마스터 노드로 선정하는 것이 좋음. 이유: 인덱스 생성, 삭제 등 클러스터와 관련된 전반적인 작업을 담당하므로. 마스터 노드는 1개만 존재. 만약, 마스터 노드가 down 되면 다른 후보들 중 하나 선택해서 역할을 수행 데이터 노드(Data node) 실질적인 데이터 저장 검색과 통계 같은 데이터 관련 작업 수행 데이터가 실제로 분산 저장되는 물리적 공간인 shard가 배치되는 노드 색인 작업은 CPU, memory, computing resource를 많이 소모하므로 resource monitoring이 필요함. 색인할 문서의 수가 적으면 마스터 노드와 함께 구성해도 ..

기본 용어 클러스터(Cluster) 물리적인 node 인스턴스들의 모임 모든 node의 검색과 색인 작업을 관장하는 logical 개념 Index의 Document를 조회 할 때: master node를 통해 n개의 node를 모두 조회해서 각 data를 취합 후 결과를 하나로 합쳐서 반환함. 가용성, 확장성 측면에서 유연함 이유: cluster에 있는 node는 실시간 추가/제거가 가능하기 때문 인덱스(Index) 독립적인 데이터 저장 공간 하나의 index는 하나의 type만 가짐. 하나의 물리적인 노드에 여러 개의 논리적인 index 생성 가능. 만약 ES를 분산 환경으로 구성하면, 하나의 index가 여러 node에 분산되어 저장됨. Index 이름은 모두 소문자여야 함. Index가 없는 상태에..