엘라스틱서치 shards failed 로인한 조회오류 해결방법

최근에 엘라스틱서치 로그백 어펜더를 직접 구현해서 사용하고 있는데 성능 이슈가 있어 원복을 했다.

근데 그때부터 키바나에서 로그 조회 시 5 of 240 shards failed 와 같은 오류 메시지가 뜨면서 조회에 실패하였다.

처음에는 type이 바뀌면서 문제가 생긴건가 싶었고, 어떻게 해야할지 몰라 특정 인덱스를 삭제해보기로 했다.

개발환경에서는 그렇게 했더니 조회가 잘 되기 시작했으나 상용환경에서는 여전히 마찬가지였다.

또한 원복한 일자의 인덱스 뿐만 아니라 이전 날짜에 대한 인덱스들도 조회에 실패하였다. 그것도 특정 인덱스 패턴에서만 말이다.

ElasticSearch Head 플러그인으로 개발환경과 상용환경의 인덱스 상태에 어떤 차이가 있는지 확인을 해보았는데, 

개발환경에는 키바나 관련 인덱스 파일이 1개 있었고 (.kibana_1) 상태가 푸른색이었다. 

상용환경에는 키바나 관련 파일이 2개가 있었고 (.kibana_2, .kibana_1) .kibana_2 파일이 주황색으로 표시가 되었다.

구글링을 좀 해보니 인덱스 패턴을 삭제했다가 다시 생성해보라는 얘기가 있어서 그렇게 진행했더니 데이터가 잘 조회되기 시작했다 ^-^