1️⃣ DEDUPLICATION: Choix parent en amont dans le clustering

[maxcorbeau]

1️⃣ DEDUPLICATION: Choix parent en amont dans le clustering

Carte Notion : DEDUPLICATION - Choix parent en amont dans le clustering

• 💡 quoi: déplacer la logique de sélection du parent pour la dédup de:
  • actuellement en aval (voir scripts/deduplication)
  • vers l'amont (dans dags/cluster)
• 🎯 pourquoi: pour que la suggestion de clustering contienne également la proposition de nouveau parent:
  • aider à la prise de décision métier en ayant un max d'info au niveau de la suggestion
  • augmenter la fiabilité de nos pipelines en intégrant aux suggestions tous les changements nécessaires (et ne pas se reposer sur d'autres logiques à posteriori qui rendent la visibilité, testing, et debugging bcp + complexes)
• 🤔 comment:
  • cluster_acteurs_choose_new_parents: nouvelle fonction business qui va choisir les nouveaux parents à partir d'un dataframe de clusters

➡️ A faire (cette PR)

• test unitaires
• intégrer cluster_acteurs_choose_new_parents à la tâche Airflow de suggestion

📆 A faire (prochaine PR)

• Même pourquoi: on va également déplacer la logique de dédup d'enrichissement du parent en amont

[notion-workspace]

DEDUPLICATION - Choix du parent en amont dans le clustering