[Refactor] 페이지 내용 비교 해시 구현 #66
Description
Description
현재 크롤링한 페이지 본문을 s3에 저장된 본문과 비교하는 방식에서, 페이지 내용을 해시하여 비교하는 방식으로 변환합니다. 변경 이후 페이지 내용 비교를 위해 저장해야 하는 텍스트의 길이가 충분히 짧기에, s3에 저장하는 대신 dynamodb에 해시된 url 및 페이지 내용, 분석 결과 3개의 데이터를 모두 저장합니다.
Todo
- s3 사용 코드 삭제
- dynamodb에 페이지 본문에 대한 해시를 저장하도록 수정