Conversation
* fix: config.py rollback 오류 수정 - 머지과정에서 사라진 코드 복구 * chore: dockerFile add - Dockerfile추가 - docker 개발환경 구축 * chore: 패키지 추가
feat : Postgre 연결 설정 파일 추가 LoggerMiddleware 패키지 변경 PostgreSQL 커넥션 & 커서 연결 메서드 제공 및 범용 쿼리 실행 메서드 제공
- 두 개의 클래스에 싱글톤 적용 - 현재는 테스트로 .env대신 하드코딩 적용 - 범용 SQL 쿼리 메서드 정의
Postgre DB 커넥션 매니저 동기 / 비동기 작성 (연결 테스트 완료)
- ProductCrawlingData: 배치 작업의 Reader -> Processor -> Writer 단계 사이에서 데이터를 실어 나를 내부용 데이터 상자 - FastApiCrawlingResponse: RestTemplate이 FastAPI 서버에 크롤링을 요청한 후, 그 응답(JSON)을 담아올 외부용 데이터 상자
- ProductCrawlingData라는 상자에 DB 데이터를 담거나, 상자의 내용물로 DB를 업데이트할 수 있도록 실제 SQL 쿼리를 CrawlingMapper.xml에 작성하고, 이를 Java에서 호출할 수 있도록 CrawlingMapper.java 인터페이스로 연결
* -refactor 1. BaseModel으로 Request,Response 공통화 2. API 재설계 3. API 3계층 구조로 구조변경 * -refactor 1.에러 핸들로 공통화
페이지 타임아웃, 웹 드라이버 연결 실패, 요소 찾기 불가능, HTML 파싱, 데이터 추출 예외 작성
* chore: Spring security rest api auth config * chore: User auth 구조 작성 * chore: Role enum 정의 및 임시 security filter 설정 * fix: User import 문제
기존 ServiceLogger는 Fast API의 라우터 단에서 의존성 주입하여 사용 -> 현재 Middleware로 처리하여 각 Task별 라우터 작성 시 작동 BackServiceLoggerDependency.py - 혹시 사용할 수 있으니 주석처리
기존 ServiceLogger는 Fast API의 라우터 단에서 의존성 주입하여 사용 -> 현재 Middleware로 처리하여 각 Task별 라우터 작성 시 작동 BackServiceLoggerDependency.py - 혹시 사용할 수 있으니 주석처리
feat : Service logging 미들웨어 적용, CrawlingExcpetion 작성
1. 최종 상품 크롤링 기능 추가 2. product 엔드포인트, schemas 수정
1. 최종 상품 크롤링 기능 추가 2. product 엔드포인트, schemas 수정
…am-icebang into feature/crawl_service
1. search_service 작성 2. schemas 검색 Req/Res 확장 3. search 엔드포인트 추가 4. router 수정
1. match_service 작성 2. schemas 검색 Req/Res 확장 3. match 엔드포인트 추가 4. router 수정
1. similarity_service 작성 2. schemas 검색 Req/Res 확장 3. similarity 엔드포인트 추가 4. router 수정
1. 테스트 코드 4passed
Feature/crawl service
* chore: delete or user entity and mappers * feat: Organization List (v0) api
1. config에 MeCab 경로 자동 감지 설정 추가 2. keyword_matcher에서 경로 값 수정 3. pyproject.toml 의존성 중복(충돌남) 제거 4. 테스트 완료
* feat: Organization options api * fix: OrganizationOptionsDto 직렬화 getter/setter 추가
Feature/service separation
제목, 내용, 태그를 작성하고, 공개 버튼을 통해 노출되게 포스팅 발행
* chore: Spring boot validator dependency 추가 * chore: Register request dto * feat: 가입 시 random 비밀번호 생성 User insert는 진행 중 * feat: login api 작성 not tested * chore: Email mock service 작성
# Conflicts: # apps/pre-processing-service/app/api/endpoints/keywords.py
feat : 티스토리 블로그 포스팅 자동화
resolve #7
* chore: Check email request, response dto * feat: Email check api
* chore: e2e test config * chore: e2e test configuration 위치 이동 Changes to be committed: renamed: src/test/java/com/gltkorea/icebang/E2eTestConfiguration.java -> src/test/java/com/gltkorea/icebang/config/E2eTestConfiguration.java * chore: unit, e2e test profile 설정 * feat: Unit, e2e test support class * test: Test support set up * fix: Test가 제대로 수행되지 않던 문제 configure fixed (unit, e2e)
동적 워크플로우 기반 배치 시스템 초기 설정 - 디렉토리 구조 및 위치 조정 - batch 관련 수정 - 계층적 워크플로우 도입 - 동적 스케줄링 도입
* refactor: batch 패키지를 domain 외부로 이동하여 역할 분리 - 배치(Batch) 작업은 특정 도메인에 종속되지 않고, 여러 도메인에 걸쳐 실행되는 애플리케이션 레벨의 관심사임 - batch 패키지를 domain 패키지 외부의 최상위 레벨로 이동하여 아키텍처의 역할을 더 명확하게 분리하고, 도메인 모델의 응집도를 높임 * chore: 배치/워크플로 관련 DB 스키마 초기 설정
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
5 participants
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
No description provided.