session_id 부여 로직 수정 및 Airflow dag 개발

[dodorip]

#4 아래와 같은 이유로 session_id 부여 로직 수정하였습니다.

• 기존 user_id와 session_number 만으로 session_id를 부여할 경우 전체 데이터에선 일관성이 보장되지 않을 가능성 존재

로직 수정 사항

1. 동일 세션 내의 event_time 최소값 추출

• 컬럼명 : session_start_time

2. session_id 컬럼 로직 변경

• 기존 : user_id & session_number
• 현재 : session_start_time & user_id & session_number
• 최종 : session_start_time & user_id

session_number가 꼭 필요한가요?
-> session_start_time & user_id -> 세션을 식별하는 식별자로서 session_start_time이 그 역할을 하죠

3. 이전 1시간 데이터에서 세션 active 여부 판단 -> session_id 가 존재하는지

• active된 session 이라면 부여되어있는 session_id 동일하게 부여
• inactive이거나 new session 이라면 새로운 sessio_id 부여

Airflow dag 개발

Airflow dag 개발 하였습니다. PR을 쪼개지 못한 점 양해부탁드립니다.

변경 사항

1. schema 파일 디렉토리 변경하였습니다.
2. qa dag 생성하였습니다
3. Airflow 날짜 및 시간 인자 활용하여 동적 파일 경로로 수정하였습니다.

[Bansng]

session_id 컬럼 로직 변경
기존 : user_id & session_number
현재 : session_start_time & user_id & session_number

session_number 정의는?
-> �현재 존재하는 데이터에서 하나의 세션으로 묶이는지 아닌지만 판단
-> user_id 별로 session의 구분
-> 한 시간 데이터 내에서 session을 묶고 거기에 번호를 부여한 것 -> 0,1,2

session_number가 꼭 필요한가요?
-> session_start_time & user_id -> 세션을 식별하는 식별자로서 session_start_time이 그 역할을 하죠

[Bansng]

https://airflow.apache.org/docs/apache-airflow-providers-google/stable/operators/cloud/dataproc.html#submit-a-job-to-a-cluster
https://airflow.apache.org/docs/apache-airflow-providers-apache-spark/stable/operators.html#sparksubmitoperator

[Bansng]

airflow 시간변수
https://airflow.apache.org/docs/apache-airflow/stable/templates-ref.html

[sonarqubecloud]

Quality Gate passed

Issues
1 New issue
0 Accepted issues

Measures
0 Security Hotspots
0.0% Coverage on New Code
0.0% Duplication on New Code

See analysis details on SonarQube Cloud

[dodorip]

ds 및 hour 인자로 file path 동적으로 변경하였습니다.
아래 코드로 과거 데이터 backfill 테스트 까지 완료하였습니다.
airflow dags trigger --exec-date "2019-10-10T14:00:00" hourly_batch_sessionization

start_date 설정 및 backfill 부분까지 완료하였습니다.