기록하는 습관

Tokenizer : 문장을 정해진 기준(공백 등)으로 분리하여 token을 생성하는 작업. nori tokenizer nori 형태소 분석기를 사용하는 토크나이저 whitespace 공백 기준으로 분리하는 토크나이저 keyword 입력된 문장이나 단어 그 자체를 토큰으로 만드는 토크나이저 standard lowercase + whitespace 를 수행하는 토크나이저 Token Filter : Tokenizer로 분리된 token들을 원하는 형태로 가공하는 작업. # index 구성 nori_crawl, nori_crawl_hanspell Tokenizer type: nori_tokenizer를 사용하여 nori 형태소 분석기로 토크나이징 진행 user_dictionary: 사용자 사전을 정의했다. d..

local redis 사용중, RDB 백업 관련 에러 발생. 에러 메시지 MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands that may modify the data set are disabled, because this instance is configured to report errors during writes if RDB snapshotting fails (stop-writes-on-bgsave-error option). Please check the Redis logs for details about the RDB error.. → Redis를 캐시 ..

redis에 데이터를 저장하기 위해 SortedSet에 데이터를 넣어야 한다. 이 때, 반복문을 사용할 때 list를 사용하는 것과 stream 중에 어떤 것이 더 빠를지 비교해보고자 한다. @Test @DisplayName("redis 관련 속도 측정 - for문") void redisFor() { List boardList = getS3Records("", (long) 1); RBatch rBatch = redisson.createBatch(); for (Boards board : boardList) { rBatch.getScoredSortedSet("board1").addAsync(Double.parseDouble(board.getTitle()), board.getContent()); } } @Te..

개요 RMapCache 구조로 저장되어 있는 data 조회 테스트 조회는 Redis의 scan을 사용한다. scan 명령어는 정해진 count 개수 만큼 결과를 가져오고, offset 값을 반환 하기 때문에 keys 명령어 처럼 오랜 시간을 block 하지 않는다. 테스트 종류 1) count 최적치 테스트 redis에서 iterator를 사용해 keySet을 불러올 수 있는데, 이 때 batch size(count)를 지정해 불러올 수 있다. readAllKeySet() 함수는 count 지정하지 않고 모두 불러오는 함수 테스트 방법: 100만건의 key 조회 테스트 - Collection 당 1만개의 key 존재, 100번의 collection을 for loop로 순회. collection scan ..

1) 지연 로딩 (Lazy Loading) 개념 클라이언트에게 데이터 요청이 들어올 때, Cache에 로딩한다. DB나 API에 접근하기 전, Cache에 접근하여 원하는 데이터가 존재할 경우 Cache 데이터를 활용한다. 없으면, DB나 API에 접근하여 데이터를 가져와 Cache에 올린다. 장점 요청받은 데이터만 Cache에 저장 (→ 파르토 법칙에 따라 엄청난 효율성을 불러온다.) 캐시에 존재하지 않는 데이터를 DB에서 가져오며, 후에 캐시에 저장하기 때문에 Cache Miss에 치명적이지 않다. 단점 캐시 미스가 많아질수록 딜레이가 심해진다. 캐시 미스 발생시, 캐시에 데이터를 쓴다. 이는, 캐시의 데이터가 최신의 상태를 유지 못할 수도 있음을 의미한다. 2) Write Through 개념 데이터..