시뻘건 개발 도전기

분석기는 전처리 필터를 이용한 데이터 정제후 토크나이저를 이용해 본격적인 토큰 분리 작업을 한다. 그 다음 생성된 토큰 리스트를 토큰 필터를 통해 재가공하는 3단계 방식으로 동작한다. 하지만 토크나이저 내부에서도 일종의 전처리가 가능하기 때문에 전처리 필터는 상대적으로 활용도가 많이 떨어진다. 그렇기 때문에 엘라스틱서치에서 공식적으로 많은 종류의 전처리 필터를 제공하지 않는다. 이 가운데 HTML 문서의 전처리를 위해 제공하는 전처리 필터를 알아보자. HTML strip char filter 문장에서 HTML을 제거하는 전처리 필터이며 필터 옵션은 아래와 같다. escaped_tags 특정 태그만 삭제한다. 기본 값으로 HTML 태그를 전부 삭제한다. Tokenizer Filter 전처리 필터를 거쳐 토..