AWS 엘라스틱서치 키바나 에러 - Unable to find saved objects

최근 AWS의 엘라스틱서치 클러스터 이슈 때문에 시간을 많이 낭비했다.

AWS의 elastic search는 클러스터에 문제가 생기면 개발자가 어떻게 할 수 없기 때문에 매우 곤란할 수 있다.

클러스터도 키바나도 재시작을 할 수 없고 무조건 AWS internal team에서 확인해줘야한다.

support에 chat으로 문의해도 결국 internal team으로 넘어간다.

다행히 키바나가 접속이 된다면 클러스터 이슈는 아니다.

근데 키바나의 discover 메뉴에서 아무것도 조회가 안되고 하얀 화면이 뜨는 경우를 보게 되었다.

클러스터 상태와 키바나의 상태는 모두 GREEN 이었다.

특별히 설정을 변경하거나 하지 않았었는데도 갑자기 이런 현상이 생겼다.

ES 클러스터 인스턴스 타입을 변경하여 보았으나 현상은 동일했다.

그래서 키바나 인덱스를 삭제하여 설정을 초기화해보았다. 

인덱스 패턴을 새로 정의해주고 다시 discover로 들어갔는데....오잉?

다시 인덱스 패턴을 정의하라는 화면이 나온다.;;; 헐;;;

방금 정의해준 것에 대해 제대로 인식을 못한다;;;;

saved objects 를 들어가보니 에러가 발생한다.

Unable to find saved objects

이것저것 해보다가 AWS support에 live chat으로 문의했다.

GET _cat/aliases 를 실행해보라고 한다.

실행해보니 별다른 메시지는 없고 단순히 200 success 표시만 키바나 창 우상단에 표시되었다.

그 얘길 해주니 alias가 제대로 연결이 안된것 같다면서 아래 링크를 하나 던져주면서 모든 스텝을 그대로 따라서 해보라고 한다.

aws.amazon.com/ko/premiumsupport/knowledge-center/amazon-es-saved-objects-kibana/

스텝을 따라하면서 무슨 명령어인가 보았더니 새로운 인덱스를 만들고 alias를 연결해주고 기존 인덱스의 내용을 넣어주는 것이었다.

그리고 그렇게 따라하다가 제일 마지막 스텝인 백업 인덱스 삭제하기 전에 인덱스 패턴(saved object) 목록을 조회해보니 똑같은 인덱스 패턴이 여러개가 조회가 되었다. 그래서 동일한 패턴은 하나씩만 남겨놓고 모두 삭제하였다. 그리고 discover로 들어가니 정상적으로 조회가 되었다.

dev tools로 돌아와 GET _cat/aliases 를 실행해보니 200 success 표시와 함께 .kibana_1.kibana .kibana_1 - - - - 라고 메시지가 출력되었다.

오늘도 에러와 마주한 즐거운 하루였다.