두 문장 간의 유사도를 비교하는 방법

[sngbmYu]

질문 내용

뉴스를 크롤링하는 과정에서 비슷한 내용에 제목만 다른 중복된 기사가 여러 개 있어서 문제인 상황입니다.
같은 내용을 다루는 기사를 어느 정도 걸러내고 싶은데 문장의 유사도를 비교하는 방법이 있을까요?

제프의 답변

방법은 크게 두 가지가 있다.

1. 한글 tokenizer를 사용하는 방법

문장을 분석하여 형태소를 추출해주는 라이브러리가 있으니, 이를 활용하여 명사가 어느 정도로 일치하는지 확인하고 걸러내는 방법이 있다.
보여주신 블로그
단, 문맥을 파악할 수 없기 때문에 완전히 반대되는 문장이더라도 유사하다고 판단할 수 있는 위험이 있다.

2. LLM을 사용하는 방법

LLM에게 두 문장의 유사도를 분석해달라고 요청한 후에, 해당 유사도를 기준으로 중복을 걸러내는 방법이 있다.
기준을 어떻게 잡느냐에 따라 필요한 데이터가 일부 걸러질 수 있는 위험이 있으나, 기준을 잘 잡는다면 괜찮을 것 같다.

추가 질문

Q. LLM에게 유사도를 분석해달라고 요청하는 대신, 두 기사가 같은 내용을 다루고 있을지 예상해달라는 요청은 어떨까요?
A. LLM에게 'True or False'의 판단을 맡기는 것은 적절하지 않다. 결과를 확률로 받은 후에 맞는지 아닌지 여부는 사용자가 직접 파악하는 것이 더 적절하다.

[ej31]

답변

• 문장의 유사도는 단순하게 두 문장에서 나온 단어가 100개라고 했을 때 공통적으로 나온 갯수가 50개면 50% 입니다.
• 다만 이 경우에는 "내용"까지 봐야 하기 때문에 조금 더 복잡하다고 생각했어요.
• 또한 당장 이 기능이 현재 만들고 계신 서비스 기준으로 정확도가 낮다해서 미션 크리티컬한 요소가 아니기 때문에 LLM 을 통해 진행해도 괜찮다고 생각했습니다.

---

라떼는 말이야........ 벡터가~~~ 유클리드가~~ 차원축소가~~ ... 등등 NLP 다루는 분들 해골아픈 세상이었는데.. 참 좋은세상입니다. 허허허 👴