Skip to content

[Refactor] 페이지 내용 비교 해시 구현 #66

@hjham0856

Description

@hjham0856

Description

현재 크롤링한 페이지 본문을 s3에 저장된 본문과 비교하는 방식에서, 페이지 내용을 해시하여 비교하는 방식으로 변환합니다. 변경 이후 페이지 내용 비교를 위해 저장해야 하는 텍스트의 길이가 충분히 짧기에, s3에 저장하는 대신 dynamodb에 해시된 url 및 페이지 내용, 분석 결과 3개의 데이터를 모두 저장합니다.

Todo

  • s3 사용 코드 삭제
  • dynamodb에 페이지 본문에 대한 해시를 저장하도록 수정

etc

Metadata

Metadata

Assignees

Labels

enhancementNew feature or request

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions