Merge branch 'main' into mapshaper

Author: linogaliana

.github/workflows/check.yml

@@ -3,7 +3,7 @@ name: Test Python package
 on: [push]
 
 jobs:
-  build-linux:
+  testing:
     runs-on: ubuntu-latest
     strategy:
       max-parallel: 5
@@ -14,16 +14,20 @@ jobs:
       uses: actions/setup-python@v3
       with:
         python-version: "3.10"
+    - name: Add libmagic for python-magic on linux
+      run: sudo apt-get install libmagic1
+    - name: Install Poetry
+      uses: snok/install-poetry@v1
     - name: Install dependencies
       run: |
-        pip install -r requirements.txt
-        pip install .
+        poetry install --without dev
+        poetry add pytest
     - name: Test import
       run: |
         export AWS_ACCESS_KEY_ID=${{ secrets.S3_ACCESS_KEY }}
         export AWS_SECRET_ACCESS_KEY=${{ secrets.S3_SECRET_KEY }}
-        python example/download.py 
-#    - name: Test with pytest
-#      run: |
-#        conda install pytest
-#        pytest
+        # python example/download.py 
+    - name: Test with pytest
+      run: |
+        poetry run pytest
+

.github/workflows/lint.yml

@@ -3,7 +3,7 @@ name: Lint Python package
 on: [push]
 
 jobs:
-  build-linux:
+  lint-checking:
     runs-on: ubuntu-latest
     strategy:
       max-parallel: 5
@@ -14,10 +14,13 @@ jobs:
       uses: actions/setup-python@v3
       with:
         python-version: "3.10"
+    - name: Add libmagic for python-magic on linux
+      run: sudo apt-get install libmagic1
+    - name: Install Poetry
+      uses: snok/install-poetry@v1
     - name: Install dependencies
       run: |
-        pip install -r requirements.txt
-        pip install .
+        poetry install --without dev
     - name: Lint with flake8
       run: |
         cd cartiflette

.gitignore

@@ -131,3 +131,6 @@ dmypy.json
 # Setuptools vs. poetry
 *.lock
 .toml
+
+*.sqlite
+*.sqlite*

CONTRIBUTING.md

@@ -1,7 +1,7 @@
 # Guide pour aider les développeurs du package <img height="18" width="18" src="https://cdn.simpleicons.org/python/00ccff99" /> `cartiflette`
 
 Le _package_ <img height="18" width="18" src="https://cdn.simpleicons.org/python/00ccff99" /> `cartiflette` 
-est une boite à outil qui répond principalement à deux objectifs:
+est une boite à outil qui répond principalement à deux objectifs :
 
 - récupérer et restructurer les données diffusées par l'IGN pour produire des fonds de carte prêts à l'emploi
 - interagir en écriture (mainteneurs du package) et en lecture (tous les utilisateurs) avec l'espace de stockage des fonds de carte proposés par `cartiflette`
@@ -11,7 +11,7 @@ est une boite à outil qui répond principalement à deux objectifs:
 Le package `cartiflette` est organisé en sous-packages thématiques:
 
 - `cartiflette.utils`: une série de fonctions utilisées dans les autres sous-packages ou de fichiers de configuration utiles (comme le `sources.yaml`). Bien que certaines puissent être utiles à des utilisateurs du _package_, elles ont plutôt vocation à être des _internals_. 
-- `cartiflette.download`: package pour communiquer avec le site de l'IGN. Les emplacements où aller chercher les fichiers sont dans le package `utils` et ce package se charge de télécharger, écrire dans un dossier temporaire dézipper en local la source. 
+- `cartiflette.download`: package pour communiquer avec le site de l'IGN. Les emplacements où aller chercher les fichiers sont dans le package `utils` et ce package se charge de télécharger, écrire dans un dossier temporaire et dézipper en local la source. 
 Un système de _cache_ existe pour éviter de télécharger plusieurs fois le même fichier. 
 - `cartiflette.s3`: le package qui gère l'interaction avec le système de stockage. Les fonctions sont à deux niveaux dans ce package
     + celles qui servent à écrire sur l'espace de stockage sont utilisées exclusivement par le _pipeline_ de production des fonds de carte `cartiflette`
@@ -23,12 +23,12 @@ Un système de _cache_ existe pour éviter de télécharger plusieurs fois le m
 
 Les principales fonctions sont les suivantes:
 
-- `create_url_adminexpress` (_internal_): en fonction de paramètres de l'utilisateur (source, année...), récupération dans le fichier de config
+- `create_url_adminexpress` (_internal_) : en fonction de paramètres de l'utilisateur (source, année...), récupération dans le fichier de config
 de l'URL où aller chercher les données `IGN`
-- `store_vectorfile_ign`: téléchargement des données IGN en fonction de paramètres de l'utilisateur (source, année...). Compter environ 500Mo pour les données Admin-Express et écriture dans un chemin standardisé
-- `get_vectorfile_ign`: après `store_vectorfile_ign`, lecture sous forme de `DataFrame` `GeoPandas`
-- `get_administrative_level_available_ign`: après `store_vectorfile_ign`, liste les niveaux administratifs disponibles
-- `get_vectorfile_communes_arrondissement`: fait un `get_vectorfile_ign` sur deux niveaux administratifs, les arrondissements et les communes. Pour les trois villes à arrondissement, retire la commune et remplace par les arrondissements. 
+- `store_vectorfile_ign` : téléchargement des données IGN en fonction de paramètres de l'utilisateur (source, année...). Compter environ 500Mo pour les données Admin-Express et écriture dans un chemin standardisé
+- `get_vectorfile_ign` : après `store_vectorfile_ign`, lecture sous forme de `DataFrame` `GeoPandas`
+- `get_administrative_level_available_ign` : après `store_vectorfile_ign`, liste les niveaux administratifs disponibles
+- `get_vectorfile_communes_arrondissement` : fait un `get_vectorfile_ign` sur deux niveaux administratifs, les arrondissements et les communes. Pour les trois villes à arrondissement, retire la commune et remplace par les arrondissements. 
 
 Exemple : 
 
@@ -45,18 +45,18 @@ get_vectorfile_ign(
 
 Bien que les fonctions de ce _package_
 puissent être mises à disposition des utilisateurs finaux de `cartiflette`, elles
-ont plutôt vocation à être utilisées lors de la production des fichiers de `cartiflette`
+ont plutôt vocation à être utilisées lors de la production des fichiers de `cartiflette`.
 
 ## `cartiflette.s3`
 
-Les fonctions d'écriture sur l'espace de stockage ayant vocation à être dans le _pipeline_:
+Les fonctions d'écriture sur l'espace de stockage ayant vocation à être dans le _pipeline_ :
 
 - `write_vectorfile_s3_all`
 - `write_vectorfile_s3_custom_arrondissement`
 - `production_cartiflette`
 
 Les fonctions de récupération des fonds de carte ayant vocation à être mises à disposition
-des utilisateurs finaux: 
+des utilisateurs finaux : 
 
 - `download_vectorfile_s3_all`
 - `download_vectorfile_url_all`

README.md

@@ -21,16 +21,16 @@ A l’heure actuelle, `cartiflette` est structuré sous la forme d’un
 `package` :package: `Python` :snake:. Ceci est amené à évoluer pour
 faciliter encore plus la récupération de contours grâce à des API.
 
-Tout ceci est donc amené à bien évoluer, n’hésitez pas à revenir
-fréqumment sur cette page.
+De nombres évolutions étant encore à venir, n’hésitez donc pas à repasser
+fréquemment sur cette page.
 
 ``` python
 pip install requests py7zr geopandas openpyxl tqdm s3fs PyYAML xlrd
 pip install git+https://github.com/inseefrlab/cartogether
 ```
 
 Pour tester le package, vous pouvez tenter de récupérer le contour des
-communes de la région Normandie:
+communes de la région Normandie :
 
 ``` python
 import cartiflette.s3
@@ -94,6 +94,6 @@ ax.set_axis_off()
 
 ## Plus de détails
 
-- Pitch du projet ici: https://10pourcent.etalab.studio/projets/insee/
-- Ateliers ici:
+- Pitch du projet ici : https://10pourcent.etalab.studio/projets/insee/
+- Ateliers ici :
   https://github.com/etalab-ia/programme10pourcent/wiki/Ateliers-Faciliter-l%E2%80%99association-de-sources-de-donn%C3%A9es-g%C3%A9ographiques-issues-de-divers-producteurs-(INSEE,-IGN,-collectivit%C3%A9s-locales%E2%80%A6)#atelier2

README.qmd

@@ -23,16 +23,16 @@ la forme d'un `package` :package: `Python` :snake:.
 Ceci est amené à évoluer pour faciliter encore plus
 la récupération de contours grâce à des API. 
 
-Tout ceci est donc amené à bien évoluer, n'hésitez pas à 
-revenir fréqumment sur cette page. 
+De nombres évolutions étant encore à venir, n’hésitez donc pas à repasser
+fréquemment sur cette page.
 
 ```python
 pip install requests py7zr geopandas openpyxl tqdm s3fs PyYAML xlrd
 pip install git+https://github.com/inseefrlab/cartogether
 ```
 
 Pour tester le package, vous pouvez tenter de récupérer
-le contour des communes de la région Normandie:
+le contour des communes de la région Normandie :
 
 ```{python}
 import cartiflette.s3
@@ -49,7 +49,7 @@ ax = normandie.plot()
 ax.set_axis_off()
 ```
 
-ou des régions Ile de France, Normandie et Bourgogne
+ou des régions Ile de France, Normandie et Bourgogne :
 
 
 ```{python}
@@ -81,5 +81,5 @@ ax.set_axis_off()
 
 ## Plus de détails
 
-- Pitch du projet ici: https://10pourcent.etalab.studio/projets/insee/
-- Ateliers ici: https://github.com/etalab-ia/programme10pourcent/wiki/Ateliers-Faciliter-l%E2%80%99association-de-sources-de-donn%C3%A9es-g%C3%A9ographiques-issues-de-divers-producteurs-(INSEE,-IGN,-collectivit%C3%A9s-locales%E2%80%A6)#atelier2
+- Pitch du projet ici : https://10pourcent.etalab.studio/projets/insee/
+- Ateliers ici : https://github.com/etalab-ia/programme10pourcent/wiki/Ateliers-Faciliter-l%E2%80%99association-de-sources-de-donn%C3%A9es-g%C3%A9ographiques-issues-de-divers-producteurs-(INSEE,-IGN,-collectivit%C3%A9s-locales%E2%80%A6)#atelier2

cartiflette/__init__.py

@@ -1,3 +1,12 @@
-from .utils import *
-from .download import *
-from .s3 import *
+from cartiflette.config import (
+    BUCKET,
+    PATH_WITHIN_BUCKET,
+    ENDPOINT_URL,
+    FS,
+    THREADS_DOWNLOAD,
+    LEAVE_TQDM,
+)
+from cartiflette.constants import REFERENCES, DOWNLOAD_PIPELINE_ARGS
+from cartiflette.utils import *
+from cartiflette.download import *
+from cartiflette.s3 import *

cartiflette/config.py

@@ -0,0 +1,24 @@
+# -*- coding: utf-8 -*-
+from dotenv import load_dotenv
+import os
+import s3fs
+
+load_dotenv()
+
+BUCKET = "projet-cartiflette"
+PATH_WITHIN_BUCKET = "diffusion/shapefiles-test4"
+ENDPOINT_URL = "https://minio.lab.sspcloud.fr"
+
+kwargs = {}
+for key in ["token", "secret", "key"]:
+    try:
+        kwargs[key] = os.environ[key]
+    except KeyError:
+        continue
+FS = s3fs.S3FileSystem(client_kwargs={"endpoint_url": ENDPOINT_URL}, **kwargs)
+
+THREADS_DOWNLOAD = 5
+# Nota : each thread may also span the same number of children threads;
+# set to 1 for debugging purposes (will deactivate multithreading)
+
+LEAVE_TQDM = False

cartiflette/constants.py

@@ -0,0 +1,74 @@
+# -*- coding: utf-8 -*-
+
+import geopandas as gpd
+import logging
+from shapely.geometry import box
+
+
+logger = logging.getLogger(__name__)
+
+REFERENCES = [
+    # use : https://boundingbox.klokantech.com/
+    {"location": "metropole", "geometry": box(-5.45, 41.26, 9.83, 51.31)},
+    {"location": "guyane", "geometry": box(-54.6, 2.11, -51.5, 5.98)},
+    {
+        "location": "martinique",
+        "geometry": box(-61.4355, 14.2217, -60.6023, 15.0795),
+    },
+    {
+        "location": "guadeloupe",
+        "geometry": box(-62.018, 15.6444, -60.792, 16.714),
+    },
+    {
+        "location": "reunion",
+        "geometry": box(55.0033, -21.5904, 56.0508, -20.6728),
+    },
+    {
+        "location": "mayotte",
+        "geometry": box(44.7437, -13.2733, 45.507, -12.379),
+    },
+    {
+        "location": "saint_pierre_et_miquelon",
+        "geometry": box(-56.6975, 46.5488, -55.9066, 47.3416),
+    },
+]
+
+REFERENCES = gpd.GeoDataFrame(REFERENCES, crs=4326)
+
+DOWNLOAD_PIPELINE_ARGS = {
+    "ADMIN-EXPRESS": [
+        "IGN",
+        "ADMINEXPRESS",
+        "EXPRESS-COG-TERRITOIRE",
+        [
+            "guadeloupe",
+            "martinique",
+            "guyane",
+            "reunion",
+            "mayotte",
+            "metropole",
+        ],
+    ],
+    "BDTOPO": ["IGN", "BDTOPO", "ROOT", "france_entiere"],
+    "IRIS": ["IGN", "CONTOUR-IRIS", "ROOT", None],
+    "COG": [
+        "Insee",
+        "COG",
+        [
+            "COMMUNE",
+            "CANTON",
+            "ARRONDISSEMENT",
+            "DEPARTEMENT",
+            "REGION",
+            "COLLECTIVITE",
+            "PAYS",
+        ],
+        "france_entiere",
+    ],
+    "BV 2022": ["Insee", "BV", "FondsDeCarte_BV_2022", "france_entiere"],
+    "BV 2012": ["Insee", "BV", "FondsDeCarte_BV_2012", "france_entiere"],
+}
+
+# EXPRESS-COG ?
+# EXPRESS-COG-CARTO-TERRITOIRE ?
+# EXPRESS-COG-CARTO ?

cartiflette/download/__init__.py

@@ -1,34 +1,14 @@
-from .dev import (
-    #     create_url_adminexpress,
-    get_vectorfile_ign,
-    #     get_administrative_level_available_ign,
-    store_vectorfile_ign,
-    get_vectorfile_communes_arrondissement,
-    #     get_BV,
-    get_cog_year,
-)
+# from cartiflette.download.dev import (
+#     get_vectorfile_communes_arrondissement,
+#     #     get_BV,
+# )
+
 
-from .download import (
-    Dataset,
-    BaseScraper,
-    HttpScraper,
-    FtpScraper,
-    MasterScraper,
-    download_sources,
+from cartiflette.download.pipeline import (
+    download_all,
 )
 
+
 __all__ = [
-    #     "create_url_adminexpress",
-    "get_vectorfile_ign",
-    #     "get_administrative_level_available_ign",
-    "store_vectorfile_ign",
-    "get_vectorfile_communes_arrondissement",
-    #     "get_BV",
-    "get_cog_year",
-    "Dataset",
-    "BaseScraper",
-    "HttpScraper",
-    "FtpScraper",
-    "MasterScraper",
-    "download_sources",
+    "download_all",
 ]