[IMPORT][SYNTHESE] Sélection du JDD ligne par ligne

[andriacap]

Tâche liée projet IMPORT V3 [BACKEND][SYNTHESE] Sélection du jdd ligne par ligne

Alembic

• Revision alembic to add column unique_dataset_id and src_unique_dataset_id
• Ajout du champ unique_dataset_id dans table bib_fields

Checks

•  Réutiliser les checks de datasets à l'instar de ce qui est fait dans occhab
  voir :

  GeoNature/contrib/gn_module_occhab/backend/gn_module_occhab/imports/__init__.py

  Lines 99 to 106 in ac3fb19

  	updated_cols |= check_datasets(
  	imprt,
  	entity,
  	df,
  	uuid_field=fields["unique_dataset_id"],
  	id_field=fields["id_dataset"],
  	module_code="OCCHAB",
  	)

Test backend

•  Réaliser les tests liés à cet ajout de champ unique_dataset_id lors de l'import csv
  voir ce qui est fait pour occhab :

  GeoNature/backend/geonature/tests/imports/test_imports_occhab.py

  Lines 81 to 107 in ac3fb19

  	@pytest.fixture()
  	def uploaded_import(client, users, datasets, import_file_name):
  	with open(test_files_path / import_file_name, "rb") as f:
  	test_file_line_count = sum(1 for line in f) - 1 # remove headers
  	f.seek(0)
  	content = f.read()
  	content = content.replace(
  	b"VALID_DATASET_UUID",
  	datasets["own_dataset"].unique_dataset_id.hex.encode("ascii"),
  	)
  	content = content.replace(
  	b"FORBIDDEN_DATASET_UUID",
  	datasets["orphan_dataset"].unique_dataset_id.hex.encode("ascii"),
  	)
  	f = BytesIO(content)
  	data = {
  	"file": (f, import_file_name),
  	"datasetId": datasets["own_dataset"].id_dataset,
  	}
  	with logged_user(client, users["user"]):
  	r = client.post(
  	url_for("import.upload_file"),
  	data=data,
  	headers=Headers({"Content-Type": "multipart/form-data"}),
  	)
  	assert r.status_code == 200, r.data
  	return TImports.query.get(r.json["id_import"])

Reviewed-by: andriacap

[codecov]

Codecov Report

All modified and coverable lines are covered by tests ✅

Project coverage is 81.83%. Comparing base (d87e880) to head (a2cb5a9).

Additional details and impacted files

@@               Coverage Diff               @@
##           feat/import    #2943      +/-   ##
===============================================
+ Coverage        81.81%   81.83%   +0.02%     
===============================================
  Files              120      120              
  Lines             9291     9297       +6     
===============================================
+ Hits              7601     7608       +7     
+ Misses            1690     1689       -1     

Flag	Coverage Δ
pytest	81.83% <100.00%> (+0.02%)	⬆️

Flags with carried forward coverage won't be shown. Click here to find out more.

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

[bouttier]

Suggested change

	def uploaded_import(client, new_import, datasets, import_file_name):
	def uploaded_import(new_import, datasets, import_file_name):

[andriacap]

Salut,

Je fais une passe sur nos PR et je voulais savoir si cette PR n'était pas censée être fermée ?Car si j'ai bien compris cette PR : #3129 a repris le travail fait ici ?

Merci d'avance :)

[bouttier]

Repris dans #3129