[IMPORT] Embed reusable import module into GeoNature core

[bouttier]

Reste à faire avant merge :

• Corriger le problème avec Celery [@jacquesfize] PR fix(celery): make new FlaskCelery class work with import tests #3237
• Commentaires de review sur cette PR [@bouttier]
• Corrections des tests frontent [@Pierre-Narcisi] PR #3939
• Contrôler lorsque l’on importe un habitat dans une station déjà existante que l’on a les droits (C ou U ?) dessus. (@jacquesfize) PR [IMPORT] check permission when habitat is imported on existing station #3209
• Dans les contrôles des JDD ligne par ligne, vérifier que ceux-cis sont actifs (il y a sans doute un nouveau type d’erreur à rajouter). (@jacquesfize) PR [IMPORT] Extending jdd checks by verifying its active status #3221
• Dans la synthèse, le contrôle sur les JDD privées doit être adapté aux JDD ligne par ligne (

  GeoNature/backend/geonature/core/gn_synthese/imports/actions.py

  Line 240 in 5b73ada

  and imprt.dataset.nomenclature_data_origin.mnemonique == "Privée"

  )
• Rajouter un contrôle sur le champs technical_precision : celui-ci devient obligatoire si le champs id_nomenclature_collection_technique vaut 10 (« Autre, préciser ») [@Pierre-Narcisi] PR: Feat(import) add check and tests #3200 Exemple :

  GeoNature/backend/geonature/core/imports/checks/sql/nomenclature.py

  Lines 136 to 151 in 5b73ada

  	def check_nomenclature_source_status(imprt, entity, source_status_field, ref_biblio_field):
  	transient_table = imprt.destination.get_transient_table()
  	litterature = TNomenclatures.query.filter(
  	TNomenclatures.nomenclature_type.has(BibNomenclaturesTypes.mnemonique == "STATUT_SOURCE"),
  	TNomenclatures.cd_nomenclature == "Li",
  	).one()
  	report_erroneous_rows(
  	imprt,
  	entity,
  	error_type=ImportCodeError.CONDITIONAL_MANDATORY_FIELD_ERROR,
  	error_column=source_status_field.name_field,
  	whereclause=sa.and_(
  	transient_table.c[source_status_field.dest_field] == litterature.id_nomenclature,
  	transient_table.c[ref_biblio_field.dest_field] == None,
  	),
  	)

• Rendre le nom cité facultatif [@Pierre-Narcisi] fix(import) remove mandatory from nom_cite (Occhab) #3202
• Masquer (display=False) le field unique_dataset_id (en attendant les colonnes virtuelles et la suppression de la sélection du jdd à l’étape 1) [@jacquesfize] PR feat (import) : hide jdd selection form #3206
  • Dans Occhab
  • Dans la synthèse (dépend de PR [IMPORT] Feat/select jdd per line #3129) [@bouttier]
• Merger la refacto « mixins > actions » [@bouttier]
• Factorisation de compute_bounding_box > PR import: factorize bounding box #3184
• Rajouter un filtre dans le module de saisie Occhab permettant de filtrer sur un id_import (cf feat(report) link from import report to occhab, and filter on id_import #3207). Vu avec Camille :
  • on affiche les stations importées et les stations contenant des habitats ayant été importés (filtre proposé dans la PR à reprendre) [@Pierre-Narcisi]
  • pour les stations affichées, on retourne tous leurs habitats (ceux ajouté par l’import, mais également les autres) (i.e. pas de chose compliqué à faire) [@Pierre-Narcisi]
• Corriger la fonctionnalité « voir dans la destination » depuis le rapport d’import (intégré via feat(report) link from import report to occhab, and filter on id_import #3207) :
  • Passer d’un truc hard-codé pour la synthèse à quelque chose de générique
  • Rajouter un hook permettant à une destination de retourner l’URL de visualisation filtrée
  • Le filtre en synthèse doit porter sur l’id_source, pas sur l’id_jdd !
• Filtrer les destinations en fonction des droits sur celle-ci (@jacquesfize) PR feat(import) : Filter destinations based on a user's permissions #3211
  • Filtre SQL sur la liste (~ filter_by_scope -> hook permettant de renvoyer un filtre SQL)
  • Filtre unitaire dans le preprocessor resolve_import (~ has_instance_permission)
• La bbox Occhab ne se base que sur les stations, mais ignore les habitats. Il faudrait l’étendre aux stations sur lesquelles ont été importé des habitats (sans quoi lorsque l’on importe uniquement des habitats, la bbox est nulle). (@jacquesfize) PR feat(import, occhab) : Extend the bbox computation to habitat imported in existing station #3236
• Relecture globale ?
• Supprimer la query qui supprime le scope pour le C de import

PR restantes :

• [IMPORT][OCCHAB] Feat import/occhab id import #2932 : corrections à apporter
• [IMPORT][ALEMBIC]fix:downgrade revision add constraint error #2938 : à fermer ?
• [IMPORT] [FRONTEND] [PROPOSITION] Modification du layout du rapport d'import #3041 : problème de scroll horizontal sous firefox [@Pierre-Narcisi]
• [IMPORT][OCCHAB] add default mapping #3127 : amélioration optionnel (tables), sinon OK pour merge [@jacquesfize]
• [IMPORT] Migration adjustement for import v3 #3234 : à relire [@bouttier]
• [IMPORT] Feat/select jdd per line #3129

Améliorations frontend :

• Rapport d’import : le périmètre géographique est un rectangle très peu haut, pas très lisible …
• Liste d’import : bouton de téléchargement des données invalides : ne s’affiche pas et le lien est faux (manque la destination)
• Rapport d’import PDF [IMPORT] update import report  #3223 :
  • Remplacer « date d’import : none » par « en cour » si import non terminé
  • Ne pas afficher la bbox ni les erreurs si import non vérifié
  • Ne pas afficher les stats si import non terminé
  • Correspondance de valeurs : remplacer « null » par « pas de valeur » (en italique) (pas possible normalement)
  • Correspondance des champs : ne pas afficher les champs non mappé + corriger l’inversion champs source <> champs cible

Juste avant de merge :

• Supprimer la CI sur les branches de dev
• Merge de la dernière develop sur feat/import
• Linéariser les migrations alembic

À vérifier :

• Pouvoir sauter le field mapping et le content mapping (utilisation de DEFAULT_FIELD_MAPPING_ID et DEFAULT_CONTENT_MAPPING_ID) (cas d’usage GINCO) > pas sûr qu’on en ait encore beaucoup usage
• Virer le metaclass_resolver si encore présent dans le code source)
• Vérification de l’existence des UUID : un paramètre permet de rechercher uniquement dans un JDD (propre à dépobio qui a autorisé les duplicats d’UUID inter-jdd dans la synthèse - et pour des raisons de performances). Cassé avec les jdd ligne par ligne ! [@bouttier]

Non bloquant :

• Fonctionnel mais non conforme aux discussion : lorsqu’une station est dupliquée, les erreurs ne sont levées que sur la première occurrence de la station et non pour l’ensemble des lignes. Est-ce qu’on valide ce comportement ou est-ce qu’on planifie de reprendre pour lever une erreur par ligne ?

Pour le futur :

• Rajouter une alternative au cd_hab : code typo (cd_typo ou cd_table) + lb_code [issue à ouvrir]
• Dans la liste des imports, si l’on filtre par une destination donnée puis que l’on crée un nouvel import, la destination pourrait être pré-sélectionnée.

[codecov]

Codecov Report

Attention: Patch coverage is 88.31169% with 315 lines in your changes missing coverage. Please review.

Project coverage is 83.86%. Comparing base (46ecee3) to head (33caae6).

Files with missing lines	Patch %	Lines
backend/geonature/core/imports/routes/imports.py	85.07%	60 Missing ⚠️
backend/geonature/core/imports/models.py	88.30%	42 Missing ⚠️
...le_occhab/backend/gn_module_occhab/imports/plot.py	31.66%	41 Missing ⚠️
backend/geonature/core/gn_synthese/imports/plot.py	26.08%	34 Missing ⚠️
...nd/geonature/core/imports/checks/dataframe/cast.py	77.77%	30 Missing ⚠️
backend/geonature/core/imports/utils.py	90.78%	21 Missing ⚠️
backend/geonature/core/imports/routes/__init__.py	62.50%	9 Missing ⚠️
backend/geonature/core/imports/tasks.py	86.15%	9 Missing ⚠️
backend/geonature/core/imports/admin.py	82.60%	8 Missing ⚠️
backend/geonature/core/imports/actions.py	77.41%	7 Missing ⚠️
... and 18 more

Additional details and impacted files

@@             Coverage Diff             @@
##           develop    #2833      +/-   ##
===========================================
+ Coverage    81.95%   83.86%   +1.91%     
===========================================
  Files           86      122      +36     
  Lines         6965     9646    +2681     
===========================================
+ Hits          5708     8090    +2382     
- Misses        1257     1556     +299     

Flag	Coverage Δ
pytest	83.86% <88.31%> (+1.91%)	⬆️

Flags with carried forward coverage won't be shown. Click here to find out more.

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

[bouttier]

Clairement plus propre avec un id_import en synthèse !!