documentation/FR_tabular_structure.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "5e79d19f",
   "metadata": {},
   "source": [
    "# Gestion des données tabulaires\n",
    "\n",
    "Les données tabulaires (ensemble de données regroupées par colonnes et par lignes) sont universelles et omniprésentes. On les retrouve aussi bien dans nos listes de courses, nos listes de taches, la gestion comptable et le suivi des processus, les formats d'échange. \n",
    "\n",
    "Des outils dédiés leurs sont consacrés (les tableurs) et elles sont à la base également de solutions élaborées comme par exemple pour le stockage (les 'tables' des bases de données relationnelles) et pour le traitement (les 'DataFrame' Pandas) de gros volumes de données.\n",
    "\n",
    "Pourtant, malgré cette importante popularité, il n'existe que très peu d'outils permettant de comprendre, d'analyser et d'exploiter la structuration de ce type de données.\n",
    "\n",
    "L'objet de cet article est donc de présenter les améliorations importantes qu'apporte une meilleure gestion de nos données tabulaires.\n",
    "\n",
    "L'article est découpé en deux parties:\n",
    "- une [première partie](#1---Structures-tabulaires) explicative accompagnée d'un exemple,\n",
    "- une [deuxième partie](#2---Exemple-d'outil) justificative et de démonstration s'appuyant sur un outil dédié\n",
    "\n",
    "Les liens présents dans les deux parties facilitent l'interactivité entre celles-ci.\n",
    "\n",
    "Cet article est également consultable sur [nbviewer](http://nbviewer.org/github/loco-philippe/Environmental-Sensing/tree/main/documentation) (meilleure lecture des tableaux)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "26d8232a",
   "metadata": {},
   "source": [
    "# 1 - Structures tabulaires\n",
    "Cette première partie précise ce que sont les structures tabulaires et comment elles peuvent être exploitées (indépendamment des données qu'elles contiennent).   \n",
    "    \n",
    "Elle présente successivement:\n",
    "- la nature des structures tabulaires,\n",
    "- l'analyse qui permet de révéler ces structures \n",
    "    - au niveau des relations entre champ\n",
    "    - au niveau de la structure complète,\n",
    "- l'exploitation de la structure pour :\n",
    "    - préparer les données pour un usage par des outils de traitement\n",
    "    - générer des formats d'échange optimisés (gain d'un facteur 5 à 10 par rapport à un fichier csv)\n",
    "    - garantir l'intégrité des données\n",
    "    - disposer de processus de réutilisation qui respectent les données d'origine\n",
    "    - fournir des indicateurs opérationnels de qualité des données\n",
    "    - proposer des moyens d'accès optimisés\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2d07e701",
   "metadata": {},
   "source": [
    "## Que trouve-t-on dans un tableau ?\n",
    "\n",
    "La première structure identifiable est évidente : les lignes et les colonnes !    \n",
    "Néanmoins, ces deux notions ne sont pas équivalentes, les colonnes (ou champs) représentent la 'sémantique' des données et les lignes représentent les objets rangés suivant cette structuration définie par les colonnes.\n",
    "\n",
    "Si l'on observe maintenant comment sont utilisés les tableaux, on peut identifier trois usages principaux :\n",
    "- la classification : Il s'agit de regrouper les objets par catégories afin de pouvoir par exemple en faire une exploitation statistique,\n",
    "- le croisement : Il consiste à représenter toutes les combinaisons entre deux paramètres comme par exemple dans les représentations matricielles\n",
    "- la caractérisation : Elle correspond à la documentation de propriétés définies.\n",
    "\n",
    "> *Prenons un exemple :*\n",
    ">\n",
    "|id|produit|aliment\t|quantité\t|prix|validité|disponibilité|\n",
    "|:------:|:------:|:------:|:------:|:------:|:------:|:------:|\n",
    "|11|pomme|fruit\t|sachet 1 kg\t|1\t|du 1/7/2022 au 31/12/2022|oui|\n",
    "|12|pomme|fruit\t|carton 10 kg\t|9|du 1/7/2022 au 31/12/2022|oui|\n",
    "|13|orange|fruit\t|sachet 1 kg|2|du 1/7/2022 au 31/12/2022|fin 2022|\n",
    "|14|orange|fruit\t|carton 10 kg\t|18\t|du 1/7/2022 au 31/12/2022|fin 2022|\n",
    "|15|piment|légume\t|sachet 1 kg\t|1.5|du 1/7/2022 au 31/12/2022|oui|\n",
    "|16|piment|légume\t|carton 10 kg|13|du 1/7/2022 au 31/12/2022|fin 2022|\n",
    "|17|banane|fruit\t|sachet 1 kg\t|0.5|du 1/7/2022 au 31/12/2022|oui|\n",
    "|18|banane|fruit\t|carton 10 kg\t|4|du 1/7/2022 au 31/12/2022|oui|\n",
    ">\n",
    ">*Il s'agit d'une liste de prix de différents aliments en fonction d'un conditionnement pour l'année 2022.*\n",
    ">\n",
    "> *On retrouve ici :*\n",
    "> - *la classification : entre les produits et les aliments,* \n",
    "> - *le croisement : entre les produits et les quantités,*\n",
    "> - *la caractérisation : la disponibilité du produit*\n",
    "\n",
    "On peut noter que les deux usages de classification et de croisement conduisent à dupliquer fortement les informations avec les risques d'erreurs associés."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9c131d4a",
   "metadata": {},
   "source": [
    "## Analyse des relations entre champs\n",
    "\n",
    "Les relations entre deux champs peuvent être qualifiées et mesurées en fonction de ces trois usages. \n",
    "Ceci permet par exemple :\n",
    "- de contrôler qu'une exigence est bien respectée,\n",
    "- de retrouver les données qui ne respectent pas l'exigence \n",
    "\n",
    "> *Dans l'exemple précédent, on vérifie que le champ 'aliment' est bien 'derivé' du champ 'produit' ([voir partie 2 : lien entre deux colonnes](#lien-entre-deux-colonnes)).*\n",
    ">\n",
    "> *Si l'on introduit une association ('banane', 'légume') au lieu de ('banane', 'fruit'), l'exigence de couplage n'est plus respectée [(voir partie 2: erreur de saisie)](#erreur-de-saisie). Les données incohérentes peuvent alors être explicitée [(voir partie 2: détection des erreurs)](#détection-des-erreurs).*\n",
    "\n",
    "Une des principales utilisation de ces relations entre champs est de pouvoir assurer une continuité entre :\n",
    "- la définition initiale de la structure tabulaire au travers du modèle de données, \n",
    "- la conception de la structure par le schéma de données\n",
    "- la validation de la documentation de la structure au fil de l'eau au a posteriori.    \n",
    "    \n",
    "La méthodologie de construction et de validation est décrite dans [un article spécifique](https://nbviewer.org/github/loco-philippe/Environmental-Sensing/blob/main/property_relationship/FR_methodology.ipynb). Elle permet de réduire significativement les erreurs de saisie et de documentation. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "55c08f5d",
   "metadata": {},
   "source": [
    "## Analyse globale\n",
    "\n",
    "L'analyse de l'ensemble des liens entre champs permet de représenter la structure globale du tableau.    \n",
    "Une première représentation exploite le lien de classification.     \n",
    "Elle se traduit par un arbre de dépendance entre colonnes.     \n",
    "\n",
    "\n",
    "> *La première représentation appliquée à l'exemple se traduit par l'arborescence suivante ([voir partie 2: représentation globale](#représentation-globale)) :*\n",
    "> ```python\n",
    "> -1: root (8)    \n",
    ">      0 : id (8)    \n",
    ">            1 : produit (4)    \n",
    ">                  2 : aliment (2)    \n",
    ">            3 : quantite (2)\n",
    ">            4 : prix (8)\n",
    ">            6 : disponibilite (2)\n",
    ">      5 : validite (1)\n",
    "> ```\n",
    "> *La racine de cette arborescence (root) représente la liste des lignes du tableaux.*    \n",
    "> *Le champ 'aliment' est bien 'dérivé' du champ 'produit'.*    \n",
    "> *la valeur entre parenthèse représente le nombre de valeurs différentes (les valeurs les plus faibles sont situées dans les feuilles de l'arbre).*\n",
    ">\n",
    "\n",
    "Une deuxième représentation qualifie chacun des champs en fonction de son rôle dans la structure globale (les catégories indiquées dans l'exemple ci-dessous sont précisée dans un article spécifique).\n",
    "    \n",
    "> *La deuxième représentation est la suivante ([voir partie 2: représentation globale](#représentation-globale)) :*\n",
    "> ```python\n",
    "> {'id': 'variable',\n",
    "> 'produit': 'primary',\n",
    "> 'aliment': 'secondary',\n",
    "> 'quantite': 'primary',\n",
    "> 'prix': 'coupled',\n",
    "> 'validite': 'unique',\n",
    "> 'disponibilite': 'variable'}\n",
    "> ```\n",
    "> *On distingue les catégories suivantes :*\n",
    "> - *primary: qualifie les champs 'croisés' ('produit' et 'quantite')*\n",
    "> - *secondary: représente les champs 'dérivés' des champs 'primary' ('aliment' qui est dérivé de 'produit')*\n",
    "> - *coupled: est une catégorie spécique indiquant que chaque valeur de ce champ est associée à une unique valeur d'un autre champ (chaque valeur du champ 'prix' correspond à une valeur du champ 'id')*\n",
    "> - *unique: pour les champs composés d'une seule valeur ('validite')*\n",
    "> - *variable: pour les autres champs qui ne disposent pas de relations particulières ('id', 'disponibilite')*"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "56d444da",
   "metadata": {},
   "source": [
    "## Export vers des outils d'analyse\n",
    "Certains outils exploitent nativement ces structures de données. C'est le cas par exemple de l'outil Xarray qui représente les données à la fois sous forme matricielle et sous forme de dépendances avec chacuns des axes de la matrice.\n",
    "\n",
    "> *L'export des données de l'exemple vers Xarray produit la structure suivante ([voir partie 2: Export Xarray](#Export-Xarray))  :*\n",
    "> ```python\n",
    "><xarray.DataArray 'prix' (produit: 4, quantite: 2)>\n",
    ">array([[20, 2],\n",
    ">       [15, 1.5],\n",
    ">       [5, 0.5],\n",
    ">       [10, 1]], dtype=object)\n",
    ">Coordinates:\n",
    ">  * produit   (produit) object 'orange' 'piment' 'banane' 'pomme'\n",
    ">  * quantite  (quantite) object 'carton 10 kg' 'sachet 1 kg'\n",
    ">    aliment   (produit) object 'fruit' 'legume' 'fruit' 'fruit'\n",
    ">Attributes:\n",
    ">    validite:  du 1/7/2022 au 31/12/2022\n",
    "> ```\n",
    "> *Les données dans la matrice sont celles liées au champ 'prix', on aurait pu également choisir celles d'un autre champ 'variable' ('id' ou 'disponibilite')*     \n",
    "> *Les deux dimensions de la matrice correspondent aux deux champs 'produit' et 'quantite'.*     \n",
    "> *Le champ 'aliment' est associé au champ 'produit' au niveau de la structure 'coordinates'.*     \n",
    "> *Le champ 'validite' est unique et se trouve donc associé à la structure 'attributes'.*    "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bfe92898",
   "metadata": {},
   "source": [
    "## Optimisation des formats d'échange\n",
    "Le format privilégié d'échange des données tabulaires est le format csv qui est l'image exacte d'un tableau (chaque ligne du tableau est une ligne du fichier csv), chaque cellule de ce tableau étant constitué d'une chaîne de caractères.   \n",
    "   \n",
    "Ce format n'est pas optimal dans la mesure où les données dupliquées du tableau se retrouvent également dupliquées dans le fichier csv.   \n",
    "Le format ne contient également pas les méta-données nécessaires au codage / décodage des chaînes de caractères de chacune des cellules du tableau. On ne peut donc pas garantir que le tableau reconstitué à partir d'un fichier csv soit identique au tableau d'origine. Le format csv n'est donc pas réellement un format d'échange (qui par définition doit être non ambiguë).\n",
    "\n",
    "> *Par exemple, si un tableau contient une cellule avec la valeur numérique 1 et une autre avec la chaîne de caractère \"1\", le fichier csv généré contiendra deux fois la chaîne de caractère \"1\"  et il ne sera pas possible de reconstruire la valeur numérique 1.*    \n",
    "    \n",
    "La prise en compte des liens entre champs permet de supprimer toutes les duplications et de les remplacer par une codification optimisée. Le gain de volume est alors conséquent puisque la taille du fichier est divisée par 5 à 10 sur des jeux de données importants.  \n",
    "Cette transformation est également totalement réversible (l'objet reconstruit est identique à l'original) si la nature des données de chaque cellule est respectée (ce qui est rendu possible avec l'utilisation d'un format JSON).    \n",
    "\n",
    "> *Les données ci-dessous représentent au format JSON les données de l'exemple dans une structure équivalente à celle d'un fichier csv ([voir partie 2: Format d'échange](#Format-d'échange)) :*      \n",
    ">\n",
    ">```python\n",
    ">[['produit', ['piment', 'piment', 'banane', 'banane', 'pomme', 'pomme', 'orange', 'orange']],\n",
    "> ['quantite', ['sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg']],\n",
    "> ['aliment', ['legume', 'legume', 'fruit', 'fruit', 'fruit', 'fruit', 'fruit', 'fruit']],\n",
    "> ['validite', ['du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022']],\n",
    "> ['id', [15, 16, 17, 18, 11, 12, 13, 14]],\n",
    "> ['disponibilite', ['oui', 'fin 2022', 'oui', 'oui', 'oui', 'oui', 'fin 2022', 'fin 2022']],\n",
    "> ['prix', [1.5, 15, 0.5, 5, 1, 10, 2, 20]]]\n",
    ">```\n",
    "> *Si maintenant, on représente les mêmes informations mais sans duplication et avec une codification optimisée, on obtient un format JSON beaucoup plus réduit ([voir partie 2: Format d'échange](#Format-d'échange)) :*      \n",
    ">```python\n",
    "> [['produit', ['piment', 'banane', 'pomme', 'orange']],\n",
    "> ['quantite', ['sachet 1 kg', 'carton 10 kg']],\n",
    "> ['aliment', ['fruit', 'legume'], [0, [1, 0, 0, 0]]],\n",
    "> ['validite', ['du 1/7/2022 au 31/12/2022']],\n",
    "> ['id', [15, 16, 17, 18, 11, 12, 13, 14]],\n",
    "> ['disponibilite', ['fin 2022', 'oui'], [4, [1, 0, 1, 1, 1, 1, 0, 0]]],\n",
    "> ['prix', [1.5, 15, 0.5, 5, 1, 10, 2, 20], 4]]\n",
    ">```\n",
    "> *Ce format JSON peut également être partagé dans un format binaire (standard CBOR) avec un gain supplémentaire de volume de données.*"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f05ec756",
   "metadata": {},
   "source": [
    "## Identifiant unique\n",
    "\n",
    "Disposer d'un identifiant unique pour une structure de données est un pré-requis pour garantir l'intégrité d'un jeu de données et assurer la traçabilité des modifications.\n",
    "Cette notion est complexe et ne peut être traitée au niveau de la représentation textuelle ou physique d'une donnée. Elle doit nécessairement s'appliquer au niveau sémantique de la donnée.\n",
    "\n",
    ">*Par exemple, les nombres réels $1.1$, et $0.11 \\times 10^1$ doivent être considérés comme identiques tout comme deux dates doivent être considérées comme identiques si leurs valeurs dans le référentiel UTC sont identiques.*\n",
    "\n",
    "Pour une structure de données tabulaire, l'identifiant doit également intégrer (en plus de l'identification de chacune des données qu'il contient) l'identifiant de la structure tabulaire qui porte les données.\n",
    "\n",
    ">*Par exemple, le lien entre une données et la ligne ou la colonne qui la contient doit être pris en compte contrairement à l'ordre des colonnes qui n'est pas significatif.*\n",
    "\n",
    ">*Ainsi, dans l'exemple présenté, les données reconstruites à partir du fichier JSON complet ou bien à partir du fichier JSON optimisé ou encore à partir du fichier binaire présentent le même identifiant ([voir partie 2: identifiant](#identifiant)).*\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "be4333cc",
   "metadata": {},
   "source": [
    "## Agrégation de structure\n",
    "\n",
    "Les structures tabulaires ne sont pas restreintes à des données élémentaires. On peut, de façon récursive, assembler plusieurs tableaux au sein d'un même tableau.    \n",
    "\n",
    "Ce tableau peut être 'déplié' pour faire apparaître les données élémentaires de chacun des tableaux inclus. Réciproquement, un tableau peut être 'replié' pour faire apparaître les données agrégées.\n",
    "\n",
    "Cet usage couplé à l'utilisation d'identifiants permet de garantir et de vérifier que les données d'origine ont bien été respectées dans les assemblages successifs de données. Il facilite également les mises à jour puisqu'une modification de données d'entrée peut se propager automatiquemant aux données de sortie.\n",
    "\n",
    "> *On peut par exemple considérer que le tableau de liste de prix précédent a été construit en assemblant un premier tableau relatif aux fruitss :*    \n",
    ">\n",
    "|id|produit|quantité\t|prix|disponibilité|\n",
    "|:------:|:------:|:------:|:------:|:------:|\n",
    "|11|pomme|sachet 1 kg\t|1\t|oui|\n",
    "|12|pomme|carton 10 kg\t|9|oui|\n",
    "|13|orange|sachet 1 kg  |2|fin 2022|\n",
    "|14|orange|carton 10 kg\t|18\t|fin 2022|\n",
    "|17|banane|sachet 1 kg\t|0.5|oui|\n",
    "|18|banane|carton 10 kg\t|4|oui|\n",
    ">\n",
    "> *et un second relatif aux légumes :*     \n",
    ">\n",
    "|id|produit|quantité\t|prix|disponibilité|\n",
    "|:------:|:------:|:------:|:------:|:------:|\n",
    "|15|piment|sachet 1 kg\t|1.5|oui|\n",
    "|16|piment|carton 10 kg|13|fin 2022|\n",
    ">\n",
    "> *Le tableau de synthèse agrège les deux tableaux en ajoutant des champs supplémentaires :*     \n",
    ">\n",
    "|aliment|validité|total|\n",
    "|:------:|:------:|:------:|\n",
    "|fruit|du 1/7/2022 au 31/12/2022|tableau 1|\n",
    "|legume|du 1/7/2022 au 31/12/2022|tableau 2|\n",
    ">\n",
    "> *Ce tableau de synthèse 'déplié' est identique au tableau présenté en tête d'article ([voir partie 2: agrégation](#agrégation)).*\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8ecae289",
   "metadata": {},
   "source": [
    "## Indicateurs qualité\n",
    "Trois paramètres peuvent être mesurés simplement pour une structure tabulaire :\n",
    "- le nombre de valeurs (produit du nombre de lignes par le nombre de colonnes)\n",
    "- le nombre de valeurs différentes (comptage par colonne)\n",
    "- la taille du format JSON (type csv)\n",
    "\n",
    "Le ratio 'nombre de valeurs différentes' / 'nombre de valeurs' (niveau d'unicité) nous indique le gain maximal atteignable par une optimisation de format (indépendamment d'un gain lié à l'optimisation des valeurs elles-même).    \n",
    "\n",
    "Une valeur faible de ce ratio indique qu'une représentation de type csv n'est pas adaptée pour ce tableau.\n",
    "\n",
    "> *Prenons par exemple un extrait du tableau de la liste des prix des fruits :* \n",
    ">\n",
    "|produit|quantité\t|prix|\n",
    "|:------:|:------:|:------:|\n",
    "|pomme|sachet 1 kg\t|1\t|\n",
    "|pomme|carton 10 kg\t|9|\n",
    "|orange|sachet 1 kg|2|\n",
    "|orange|carton 10 kg\t|18\t|\n",
    "|banane|sachet 1 kg\t|0.5|\n",
    "|banane|carton 10 kg\t|4|\n",
    ">\n",
    "> *Le nombre de valeurs est de 21, le nombre de valeurs différentes est de 15 (4 pour les deux premiers champs, 7 pour le troisième). Un format optimisé pourra donc atteindre au maximum une taille de 71,4 % de la taille de référence de ce tableau.*   \n",
    ">    \n",
    "> *En pratique, ce maximum peut être atteint sur cet exemple qui correspond à une structure matricielle (3 produits x 2 quantités) en stockant les valeurs des coordonnées de la matrice et celles de la matrice avec un ordre prédéfini.*\n",
    "\n",
    "Un autre indicateur peut également être intéressant : le ratio 'taille du format JSON' / 'nombre de valeurs' qui indique la taille moyenne d'une cellule du tableau.   \n",
    "\n",
    "Une valeur élevée de ce ratio indique (surtout si elle s'accompagne d'un faible niveau d'unicité) la présence de données 'longues' qui seraient à remplacer par une 'référence courte'. \n",
    "> *C'est par exemple le cas d'un fichier csv qui contiendrait un champ avec le polygone géographique du département. La recommandation serait alors de remplacer ce champ par le numéro du département qyui servirait de lien pour retrouver le polygone correspondant dans un fichier séparé.*\n",
    "\n",
    "D'autres indicateurs peuvent également être établis concernant la typologie des champs présents (cf. [Analyse globale](Analyse-globale)). On peut par exemple identifier:\n",
    "- la dimension du tableau (nombre de champs 'croisés'). Une dimension supérieure à 1 indique la présence de données matricielles. Une dimension élevée indique qu'une représentation par fichier csv n'est pas optimisée.\n",
    "> *Par exemple, le tableau de prix est de dimension 2.*\n",
    "- le niveau de dérivation des données (nombre de niveau de l'arbre). Un niveau supérieur à 2 indique la présence de données de classification. Un niveau élevé indique la aussi qu'une représentation par fichier csv n'est pas optimisée. \n",
    "> *Le niveau de dérivation du tableau de prix est de 3.*\n",
    "- la présence de champs de type 'unique' nous indique la présence d'informations non tabulaires (à extraire du tableau).\n",
    "\n",
    "Les écarts entre la structure définie dans le schéma de données et la structure mesurée sur le tableau peuvent faire également l'objet d'indicateurs ([cf. article concernant la méthodologie](https://nbviewer.org/github/loco-philippe/Environmental-Sensing/blob/main/property_relationship/FR_methodology.ipynb).    \n",
    "    \n",
    "Dans le cas d'une représentation optimisée (non csv), un indicateur indique le niveau d'optimisation atteint par rapport au niveau maximal atteignable.\n",
    "\n",
    "> *Dans l'exemple du tableau de liste de prix, le niveau maximal d'optimisation atteignable est de 53,1 % (gain maximal de 46,9 %). La codification optimisée proposée dans [la partie 2: indicateurs](#indicateurs) permet d'atteindre 54,9 % (gain de 45,1%).*"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a4e38cb6",
   "metadata": {},
   "source": [
    "## Moyen d'accès optimisé\n",
    "\n",
    "Dans une structure tabulaire, les données sont dissociables : on peut accéder à l'ensemble des données ou bien à un ensemble de données réduit à quelques lignes ou quelques colonnes.   \n",
    "\n",
    "Par contre, un accès sélectif nécessite au préalable soit un stockage en base de données, soit de charger le jeu de données dans un outil qui permet d'effectuer cette sélection.    \n",
    "    \n",
    "L'usage d'un format JSON supprime cette contrainte. En effet, celui-ci peut être stocké indifféremment dans un fichier ou dans une base de données \"document\". \n",
    "\n",
    "Par ailleurs, l'utilisation d'un format JSON standardisé permet également de standardiser les modes et les critères de sélection des données.\n",
    "\n",
    "Cette approche est simple à mettre en oeuvre et répond au besoin de réduire les volumes de données échangés (on ne transfert que le juste nécessaire) tout en permettant de disposer de données répondant directement à la demande.\n",
    "\n",
    "> *Le format JSON présenté ci-dessus est applicable pour tout type de données tabulaires. Le stockage du tableau de liste de prix dans une base de données 'document' (ex. MongoDB) ne nécessite donc aucun paramétrage particulier de la base. Dans l'exemple d'implémentation [présenté en partie 2](#accès-banalisé)), le chargement des données se résume à une ligne de code ou de commande*\n",
    ">      \n",
    "> *La structure du fichier json étant elle aussi standardisée, un éditeur de requête lui aussi standardisé peut être mis en place. Dans l'exemple d'implémentation [présentée en partie 2](#accès-banalisé), l'extraction du tableau de prix réduit uniquement aux 'légumes' est obtenue en fournissant uniquement le nom du champ concerné : 'aliment' ainsi que le nom de la valeur recherchée : 'légume'.*"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "77331275",
   "metadata": {},
   "source": [
    "------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "abdee10e",
   "metadata": {},
   "source": [
    "# 2 - Exemple d'outil\n",
    "\n",
    "Cette deuxième partie vient en appui de l'exemple présenté en partie 1.\n",
    "\n",
    "Elle présente (au travers d'une implémentation opérationnelle développée dans le cadre du projet 'environmental sensing') une validation des assertions de la partie 1.\n",
    "\n",
    "Cette librairie est accessible dans l'environnement Python (via 'pep')."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b136b2c5",
   "metadata": {},
   "source": [
    "### lien entre deux colonnes\n",
    "(voir la partie 1 : [Analyse des relations entre champs](#Analyse-des-relations-entre-champs))    \n",
    "     \n",
    "L'objet 'tarif' est construit à partir des données indiquées en partie 1.    \n",
    "On vérifie que la règle de dépendance entre les deux champs est bien active."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "45c69b7c",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 1,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from observation import Ilist\n",
    "#création de l'exemple\n",
    "tarif = Ilist.obj([['id', [11, 12, 13, 14, 15, 16, 17, 18]],\n",
    "                   ['produit', ['pomme', 'pomme', 'orange', 'orange', 'piment', 'piment', 'banane', 'banane']],\n",
    "                   ['aliment', ['fruit', 'fruit', 'fruit', 'fruit', 'legume', 'legume', 'fruit', 'fruit']],\n",
    "                   ['quantite', ['sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg']],\n",
    "                   ['prix', [1, 10, 2, 20, 1.5, 15, 0.5, 5]],\n",
    "                   ['validite', ['du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022']],\n",
    "                   ['disponibilite', ['oui', 'oui','fin 2022','fin 2022','oui','fin 2022','oui','oui']]])\n",
    "\n",
    "id, produit, aliment, quantite, prix, validite, dispo = tarif.lindex\n",
    "\n",
    "#test du lien entre le champ 'aliment' et le champ 'produit'\n",
    "aliment.isderived(produit)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2d279181",
   "metadata": {},
   "source": [
    "### erreur de saisie\n",
    "(voir la partie 1 : [analyse des colonnes](#Analyse-des-colonnes))\n",
    "    \n",
    "L'exemple est reconstruit avec une erreur sur la septième valeur du champ 'aliment' ('legume' au lieu de 'fruit').    \n",
    "La relation entre 'aliment' et 'produit' n'est maintenant plus active."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "c428b05c",
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "False"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# création de l'exemple erroné\n",
    "tarif_erreur = Ilist.obj([['id', [11, 12, 13, 14, 15, 16, 17, 18]],\n",
    "                   ['produit', ['pomme', 'pomme', 'orange', 'orange', 'piment', 'piment', 'banane', 'banane']],\n",
    "                   ['aliment', ['fruit', 'fruit', 'fruit', 'fruit', 'legume', 'legume', 'legume', 'fruit']],\n",
    "                   ['quantite', ['sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg']],\n",
    "                   ['prix', [1, 10, 2, 20, 1.5, 15, 0.5, 5]],\n",
    "                   ['validite', ['du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022']],\n",
    "                   ['disponibilite', ['oui', 'oui','fin 2022','fin 2022','oui','fin 2022','oui','oui']]])\n",
    "\n",
    "id_, produit_, aliment_, quantite_, prix_, validite_, dispo_ = tarif_erreur.lindex\n",
    "\n",
    "# test de la relation entre les deux champs\n",
    "aliment_.isderived(produit_)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eb565c90",
   "metadata": {},
   "source": [
    "### détection des erreurs\n",
    "(voir la partie 1 : [analyse des colonnes](#Analyse-des-colonnes))\n",
    "     \n",
    "La première instruction impose le couplage des champs 'produit' et 'aliment'.    \n",
    "La seconde présente les enregistrements ne respectant pas le couplage imposé."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "8ebff36f",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('banane', 'legume'), ('banane', 'fruit')]"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# forcage du couplage\n",
    "produit_.coupling(aliment_)\n",
    "\n",
    "# restitution des données non conformes\n",
    "tarif_erreur.getduplicates(['produit'], indexview=['produit', 'aliment'] )"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8b2ed355",
   "metadata": {},
   "source": [
    "### représentation globale\n",
    "(voir la partie 1 : [analyse globale](#Analyse-globale))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "ec1e531f",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-1: root (8)\n",
      "      0 : id (8)\n",
      "            1 : produit (4)\n",
      "                  2 : aliment (2)\n",
      "            3 : quantite (2)\n",
      "            4 : prix (8)\n",
      "            6 : disponibilite (2)\n",
      "      5 : validite (1)\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "{'id': 'variable',\n",
       " 'produit': 'primary',\n",
       " 'aliment': 'secondary',\n",
       " 'quantite': 'primary',\n",
       " 'prix': 'coupled',\n",
       " 'validite': 'unique',\n",
       " 'disponibilite': 'variable'}"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# représentation arborescente des liens de 'dérivation'\n",
    "print(tarif.tree())\n",
    "\n",
    "# affichage des catégories de chacun des champs\n",
    "tarif.category"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f8212396",
   "metadata": {},
   "source": [
    "### Export Xarray\n",
    "(voir partie 1 : [Export vers des outils d'analyse](#Export-vers-des-outils-d'analyse))\n",
    "     \n",
    "Deux exemples sont donnés avec deux champs différents : 'prix' et 'disponibilite'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "adfc2761",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div><svg style=\"position: absolute; width: 0; height: 0; overflow: hidden\">\n",
       "<defs>\n",
       "<symbol id=\"icon-database\" viewBox=\"0 0 32 32\">\n",
       "<path d=\"M16 0c-8.837 0-16 2.239-16 5v4c0 2.761 7.163 5 16 5s16-2.239 16-5v-4c0-2.761-7.163-5-16-5z\"></path>\n",
       "<path d=\"M16 17c-8.837 0-16-2.239-16-5v6c0 2.761 7.163 5 16 5s16-2.239 16-5v-6c0 2.761-7.163 5-16 5z\"></path>\n",
       "<path d=\"M16 26c-8.837 0-16-2.239-16-5v6c0 2.761 7.163 5 16 5s16-2.239 16-5v-6c0 2.761-7.163 5-16 5z\"></path>\n",
       "</symbol>\n",
       "<symbol id=\"icon-file-text2\" viewBox=\"0 0 32 32\">\n",
       "<path d=\"M28.681 7.159c-0.694-0.947-1.662-2.053-2.724-3.116s-2.169-2.030-3.116-2.724c-1.612-1.182-2.393-1.319-2.841-1.319h-15.5c-1.378 0-2.5 1.121-2.5 2.5v27c0 1.378 1.122 2.5 2.5 2.5h23c1.378 0 2.5-1.122 2.5-2.5v-19.5c0-0.448-0.137-1.23-1.319-2.841zM24.543 5.457c0.959 0.959 1.712 1.825 2.268 2.543h-4.811v-4.811c0.718 0.556 1.584 1.309 2.543 2.268zM28 29.5c0 0.271-0.229 0.5-0.5 0.5h-23c-0.271 0-0.5-0.229-0.5-0.5v-27c0-0.271 0.229-0.5 0.5-0.5 0 0 15.499-0 15.5 0v7c0 0.552 0.448 1 1 1h7v19.5z\"></path>\n",
       "<path d=\"M23 26h-14c-0.552 0-1-0.448-1-1s0.448-1 1-1h14c0.552 0 1 0.448 1 1s-0.448 1-1 1z\"></path>\n",
       "<path d=\"M23 22h-14c-0.552 0-1-0.448-1-1s0.448-1 1-1h14c0.552 0 1 0.448 1 1s-0.448 1-1 1z\"></path>\n",
       "<path d=\"M23 18h-14c-0.552 0-1-0.448-1-1s0.448-1 1-1h14c0.552 0 1 0.448 1 1s-0.448 1-1 1z\"></path>\n",
       "</symbol>\n",
       "</defs>\n",
       "</svg>\n",
       "<style>/* CSS stylesheet for displaying xarray objects in jupyterlab.\n",
       " *\n",
       " */\n",
       "\n",
       ":root {\n",
       "  --xr-font-color0: var(--jp-content-font-color0, rgba(0, 0, 0, 1));\n",
       "  --xr-font-color2: var(--jp-content-font-color2, rgba(0, 0, 0, 0.54));\n",
       "  --xr-font-color3: var(--jp-content-font-color3, rgba(0, 0, 0, 0.38));\n",
       "  --xr-border-color: var(--jp-border-color2, #e0e0e0);\n",
       "  --xr-disabled-color: var(--jp-layout-color3, #bdbdbd);\n",
       "  --xr-background-color: var(--jp-layout-color0, white);\n",
       "  --xr-background-color-row-even: var(--jp-layout-color1, white);\n",
       "  --xr-background-color-row-odd: var(--jp-layout-color2, #eeeeee);\n",
       "}\n",
       "\n",
       "html[theme=dark],\n",
       "body.vscode-dark {\n",
       "  --xr-font-color0: rgba(255, 255, 255, 1);\n",
       "  --xr-font-color2: rgba(255, 255, 255, 0.54);\n",
       "  --xr-font-color3: rgba(255, 255, 255, 0.38);\n",
       "  --xr-border-color: #1F1F1F;\n",
       "  --xr-disabled-color: #515151;\n",
       "  --xr-background-color: #111111;\n",
       "  --xr-background-color-row-even: #111111;\n",
       "  --xr-background-color-row-odd: #313131;\n",
       "}\n",
       "\n",
       ".xr-wrap {\n",
       "  display: block;\n",
       "  min-width: 300px;\n",
       "  max-width: 700px;\n",
       "}\n",
       "\n",
       ".xr-text-repr-fallback {\n",
       "  /* fallback to plain text repr when CSS is not injected (untrusted notebook) */\n",
       "  display: none;\n",
       "}\n",
       "\n",
       ".xr-header {\n",
       "  padding-top: 6px;\n",
       "  padding-bottom: 6px;\n",
       "  margin-bottom: 4px;\n",
       "  border-bottom: solid 1px var(--xr-border-color);\n",
       "}\n",
       "\n",
       ".xr-header > div,\n",
       ".xr-header > ul {\n",
       "  display: inline;\n",
       "  margin-top: 0;\n",
       "  margin-bottom: 0;\n",
       "}\n",
       "\n",
       ".xr-obj-type,\n",
       ".xr-array-name {\n",
       "  margin-left: 2px;\n",
       "  margin-right: 10px;\n",
       "}\n",
       "\n",
       ".xr-obj-type {\n",
       "  color: var(--xr-font-color2);\n",
       "}\n",
       "\n",
       ".xr-sections {\n",
       "  padding-left: 0 !important;\n",
       "  display: grid;\n",
       "  grid-template-columns: 150px auto auto 1fr 20px 20px;\n",
       "}\n",
       "\n",
       ".xr-section-item {\n",
       "  display: contents;\n",
       "}\n",
       "\n",
       ".xr-section-item input {\n",
       "  display: none;\n",
       "}\n",
       "\n",
       ".xr-section-item input + label {\n",
       "  color: var(--xr-disabled-color);\n",
       "}\n",
       "\n",
       ".xr-section-item input:enabled + label {\n",
       "  cursor: pointer;\n",
       "  color: var(--xr-font-color2);\n",
       "}\n",
       "\n",
       ".xr-section-item input:enabled + label:hover {\n",
       "  color: var(--xr-font-color0);\n",
       "}\n",
       "\n",
       ".xr-section-summary {\n",
       "  grid-column: 1;\n",
       "  color: var(--xr-font-color2);\n",
       "  font-weight: 500;\n",
       "}\n",
       "\n",
       ".xr-section-summary > span {\n",
       "  display: inline-block;\n",
       "  padding-left: 0.5em;\n",
       "}\n",
       "\n",
       ".xr-section-summary-in:disabled + label {\n",
       "  color: var(--xr-font-color2);\n",
       "}\n",
       "\n",
       ".xr-section-summary-in + label:before {\n",
       "  display: inline-block;\n",
       "  content: '►';\n",
       "  font-size: 11px;\n",
       "  width: 15px;\n",
       "  text-align: center;\n",
       "}\n",
       "\n",
       ".xr-section-summary-in:disabled + label:before {\n",
       "  color: var(--xr-disabled-color);\n",
       "}\n",
       "\n",
       ".xr-section-summary-in:checked + label:before {\n",
       "  content: '▼';\n",
       "}\n",
       "\n",
       ".xr-section-summary-in:checked + label > span {\n",
       "  display: none;\n",
       "}\n",
       "\n",
       ".xr-section-summary,\n",
       ".xr-section-inline-details {\n",
       "  padding-top: 4px;\n",
       "  padding-bottom: 4px;\n",
       "}\n",
       "\n",
       ".xr-section-inline-details {\n",
       "  grid-column: 2 / -1;\n",
       "}\n",
       "\n",
       ".xr-section-details {\n",
       "  display: none;\n",
       "  grid-column: 1 / -1;\n",
       "  margin-bottom: 5px;\n",
       "}\n",
       "\n",
       ".xr-section-summary-in:checked ~ .xr-section-details {\n",
       "  display: contents;\n",
       "}\n",
       "\n",
       ".xr-array-wrap {\n",
       "  grid-column: 1 / -1;\n",
       "  display: grid;\n",
       "  grid-template-columns: 20px auto;\n",
       "}\n",
       "\n",
       ".xr-array-wrap > label {\n",
       "  grid-column: 1;\n",
       "  vertical-align: top;\n",
       "}\n",
       "\n",
       ".xr-preview {\n",
       "  color: var(--xr-font-color3);\n",
       "}\n",
       "\n",
       ".xr-array-preview,\n",
       ".xr-array-data {\n",
       "  padding: 0 5px !important;\n",
       "  grid-column: 2;\n",
       "}\n",
       "\n",
       ".xr-array-data,\n",
       ".xr-array-in:checked ~ .xr-array-preview {\n",
       "  display: none;\n",
       "}\n",
       "\n",
       ".xr-array-in:checked ~ .xr-array-data,\n",
       ".xr-array-preview {\n",
       "  display: inline-block;\n",
       "}\n",
       "\n",
       ".xr-dim-list {\n",
       "  display: inline-block !important;\n",
       "  list-style: none;\n",
       "  padding: 0 !important;\n",
       "  margin: 0;\n",
       "}\n",
       "\n",
       ".xr-dim-list li {\n",
       "  display: inline-block;\n",
       "  padding: 0;\n",
       "  margin: 0;\n",
       "}\n",
       "\n",
       ".xr-dim-list:before {\n",
       "  content: '(';\n",
       "}\n",
       "\n",
       ".xr-dim-list:after {\n",
       "  content: ')';\n",
       "}\n",
       "\n",
       ".xr-dim-list li:not(:last-child):after {\n",
       "  content: ',';\n",
       "  padding-right: 5px;\n",
       "}\n",
       "\n",
       ".xr-has-index {\n",
       "  font-weight: bold;\n",
       "}\n",
       "\n",
       ".xr-var-list,\n",
       ".xr-var-item {\n",
       "  display: contents;\n",
       "}\n",
       "\n",
       ".xr-var-item > div,\n",
       ".xr-var-item label,\n",
       ".xr-var-item > .xr-var-name span {\n",
       "  background-color: var(--xr-background-color-row-even);\n",
       "  margin-bottom: 0;\n",
       "}\n",
       "\n",
       ".xr-var-item > .xr-var-name:hover span {\n",
       "  padding-right: 5px;\n",
       "}\n",
       "\n",
       ".xr-var-list > li:nth-child(odd) > div,\n",
       ".xr-var-list > li:nth-child(odd) > label,\n",
       ".xr-var-list > li:nth-child(odd) > .xr-var-name span {\n",
       "  background-color: var(--xr-background-color-row-odd);\n",
       "}\n",
       "\n",
       ".xr-var-name {\n",
       "  grid-column: 1;\n",
       "}\n",
       "\n",
       ".xr-var-dims {\n",
       "  grid-column: 2;\n",
       "}\n",
       "\n",
       ".xr-var-dtype {\n",
       "  grid-column: 3;\n",
       "  text-align: right;\n",
       "  color: var(--xr-font-color2);\n",
       "}\n",
       "\n",
       ".xr-var-preview {\n",
       "  grid-column: 4;\n",
       "}\n",
       "\n",
       ".xr-var-name,\n",
       ".xr-var-dims,\n",
       ".xr-var-dtype,\n",
       ".xr-preview,\n",
       ".xr-attrs dt {\n",
       "  white-space: nowrap;\n",
       "  overflow: hidden;\n",
       "  text-overflow: ellipsis;\n",
       "  padding-right: 10px;\n",
       "}\n",
       "\n",
       ".xr-var-name:hover,\n",
       ".xr-var-dims:hover,\n",
       ".xr-var-dtype:hover,\n",
       ".xr-attrs dt:hover {\n",
       "  overflow: visible;\n",
       "  width: auto;\n",
       "  z-index: 1;\n",
       "}\n",
       "\n",
       ".xr-var-attrs,\n",
       ".xr-var-data {\n",
       "  display: none;\n",
       "  background-color: var(--xr-background-color) !important;\n",
       "  padding-bottom: 5px !important;\n",
       "}\n",
       "\n",
       ".xr-var-attrs-in:checked ~ .xr-var-attrs,\n",
       ".xr-var-data-in:checked ~ .xr-var-data {\n",
       "  display: block;\n",
       "}\n",
       "\n",
       ".xr-var-data > table {\n",
       "  float: right;\n",
       "}\n",
       "\n",
       ".xr-var-name span,\n",
       ".xr-var-data,\n",
       ".xr-attrs {\n",
       "  padding-left: 25px !important;\n",
       "}\n",
       "\n",
       ".xr-attrs,\n",
       ".xr-var-attrs,\n",
       ".xr-var-data {\n",
       "  grid-column: 1 / -1;\n",
       "}\n",
       "\n",
       "dl.xr-attrs {\n",
       "  padding: 0;\n",
       "  margin: 0;\n",
       "  display: grid;\n",
       "  grid-template-columns: 125px auto;\n",
       "}\n",
       "\n",
       ".xr-attrs dt,\n",
       ".xr-attrs dd {\n",
       "  padding: 0;\n",
       "  margin: 0;\n",
       "  float: left;\n",
       "  padding-right: 10px;\n",
       "  width: auto;\n",
       "}\n",
       "\n",
       ".xr-attrs dt {\n",
       "  font-weight: normal;\n",
       "  grid-column: 1;\n",
       "}\n",
       "\n",
       ".xr-attrs dt:hover span {\n",
       "  display: inline-block;\n",
       "  background: var(--xr-background-color);\n",
       "  padding-right: 10px;\n",
       "}\n",
       "\n",
       ".xr-attrs dd {\n",
       "  grid-column: 2;\n",
       "  white-space: pre-wrap;\n",
       "  word-break: break-all;\n",
       "}\n",
       "\n",
       ".xr-icon-database,\n",
       ".xr-icon-file-text2 {\n",
       "  display: inline-block;\n",
       "  vertical-align: middle;\n",
       "  width: 1em;\n",
       "  height: 1.5em !important;\n",
       "  stroke-width: 0;\n",
       "  stroke: currentColor;\n",
       "  fill: currentColor;\n",
       "}\n",
       "</style><pre class='xr-text-repr-fallback'>&lt;xarray.DataArray &#x27;prix&#x27; (produit: 4, quantite: 2)&gt;\n",
       "array([[20, 2],\n",
       "       [10, 1],\n",
       "       [5, 0.5],\n",
       "       [15, 1.5]], dtype=object)\n",
       "Coordinates:\n",
       "  * produit   (produit) object &#x27;orange&#x27; &#x27;pomme&#x27; &#x27;banane&#x27; &#x27;piment&#x27;\n",
       "  * quantite  (quantite) object &#x27;carton 10 kg&#x27; &#x27;sachet 1 kg&#x27;\n",
       "    aliment   (produit) object &#x27;fruit&#x27; &#x27;fruit&#x27; &#x27;fruit&#x27; &#x27;legume&#x27;\n",
       "Attributes:\n",
       "    validite:  du 1/7/2022 au 31/12/2022</pre><div class='xr-wrap' hidden><div class='xr-header'><div class='xr-obj-type'>xarray.DataArray</div><div class='xr-array-name'>'prix'</div><ul class='xr-dim-list'><li><span class='xr-has-index'>produit</span>: 4</li><li><span class='xr-has-index'>quantite</span>: 2</li></ul></div><ul class='xr-sections'><li class='xr-section-item'><div class='xr-array-wrap'><input id='section-d5972ebd-d02b-4454-8d98-d33ed1a3a56f' class='xr-array-in' type='checkbox' checked><label for='section-d5972ebd-d02b-4454-8d98-d33ed1a3a56f' title='Show/hide data repr'><svg class='icon xr-icon-database'><use xlink:href='#icon-database'></use></svg></label><div class='xr-array-preview xr-preview'><span>20 2 10 1 5 0.5 15 1.5</span></div><div class='xr-array-data'><pre>array([[20, 2],\n",
       "       [10, 1],\n",
       "       [5, 0.5],\n",
       "       [15, 1.5]], dtype=object)</pre></div></div></li><li class='xr-section-item'><input id='section-b3d680c2-ccf4-4a12-a5a9-f3f863d61eef' class='xr-section-summary-in' type='checkbox'  checked><label for='section-b3d680c2-ccf4-4a12-a5a9-f3f863d61eef' class='xr-section-summary' >Coordinates: <span>(3)</span></label><div class='xr-section-inline-details'></div><div class='xr-section-details'><ul class='xr-var-list'><li class='xr-var-item'><div class='xr-var-name'><span class='xr-has-index'>produit</span></div><div class='xr-var-dims'>(produit)</div><div class='xr-var-dtype'>object</div><div class='xr-var-preview xr-preview'>&#x27;orange&#x27; &#x27;pomme&#x27; &#x27;banane&#x27; &#x27;piment&#x27;</div><input id='attrs-1a271dc3-8a43-4d47-8033-9ed898cc28f3' class='xr-var-attrs-in' type='checkbox' disabled><label for='attrs-1a271dc3-8a43-4d47-8033-9ed898cc28f3' title='Show/Hide attributes'><svg class='icon xr-icon-file-text2'><use xlink:href='#icon-file-text2'></use></svg></label><input id='data-f89e3764-e25a-4513-9439-00a81c6cb1c9' class='xr-var-data-in' type='checkbox'><label for='data-f89e3764-e25a-4513-9439-00a81c6cb1c9' title='Show/Hide data repr'><svg class='icon xr-icon-database'><use xlink:href='#icon-database'></use></svg></label><div class='xr-var-attrs'><dl class='xr-attrs'></dl></div><div class='xr-var-data'><pre>array([&#x27;orange&#x27;, &#x27;pomme&#x27;, &#x27;banane&#x27;, &#x27;piment&#x27;], dtype=object)</pre></div></li><li class='xr-var-item'><div class='xr-var-name'><span class='xr-has-index'>quantite</span></div><div class='xr-var-dims'>(quantite)</div><div class='xr-var-dtype'>object</div><div class='xr-var-preview xr-preview'>&#x27;carton 10 kg&#x27; &#x27;sachet 1 kg&#x27;</div><input id='attrs-02ebb07f-1894-47d5-87a7-48aeacc53939' class='xr-var-attrs-in' type='checkbox' disabled><label for='attrs-02ebb07f-1894-47d5-87a7-48aeacc53939' title='Show/Hide attributes'><svg class='icon xr-icon-file-text2'><use xlink:href='#icon-file-text2'></use></svg></label><input id='data-a042c47c-3142-403f-bb0b-57c32205a1a0' class='xr-var-data-in' type='checkbox'><label for='data-a042c47c-3142-403f-bb0b-57c32205a1a0' title='Show/Hide data repr'><svg class='icon xr-icon-database'><use xlink:href='#icon-database'></use></svg></label><div class='xr-var-attrs'><dl class='xr-attrs'></dl></div><div class='xr-var-data'><pre>array([&#x27;carton 10 kg&#x27;, &#x27;sachet 1 kg&#x27;], dtype=object)</pre></div></li><li class='xr-var-item'><div class='xr-var-name'><span>aliment</span></div><div class='xr-var-dims'>(produit)</div><div class='xr-var-dtype'>object</div><div class='xr-var-preview xr-preview'>&#x27;fruit&#x27; &#x27;fruit&#x27; &#x27;fruit&#x27; &#x27;legume&#x27;</div><input id='attrs-85a14406-3e1f-4f41-bbb4-c6daa1c4c7d8' class='xr-var-attrs-in' type='checkbox' disabled><label for='attrs-85a14406-3e1f-4f41-bbb4-c6daa1c4c7d8' title='Show/Hide attributes'><svg class='icon xr-icon-file-text2'><use xlink:href='#icon-file-text2'></use></svg></label><input id='data-64db67d6-60a6-49f7-80f4-7e36946b64a7' class='xr-var-data-in' type='checkbox'><label for='data-64db67d6-60a6-49f7-80f4-7e36946b64a7' title='Show/Hide data repr'><svg class='icon xr-icon-database'><use xlink:href='#icon-database'></use></svg></label><div class='xr-var-attrs'><dl class='xr-attrs'></dl></div><div class='xr-var-data'><pre>array([&#x27;fruit&#x27;, &#x27;fruit&#x27;, &#x27;fruit&#x27;, &#x27;legume&#x27;], dtype=object)</pre></div></li></ul></div></li><li class='xr-section-item'><input id='section-ce7ed8fd-3237-4887-8504-0cfb38758b22' class='xr-section-summary-in' type='checkbox'  checked><label for='section-ce7ed8fd-3237-4887-8504-0cfb38758b22' class='xr-section-summary' >Attributes: <span>(1)</span></label><div class='xr-section-inline-details'></div><div class='xr-section-details'><dl class='xr-attrs'><dt><span>validite :</span></dt><dd>du 1/7/2022 au 31/12/2022</dd></dl></div></li></ul></div></div>"
      ],
      "text/plain": [
       "<xarray.DataArray 'prix' (produit: 4, quantite: 2)>\n",
       "array([[20, 2],\n",
       "       [10, 1],\n",
       "       [5, 0.5],\n",
       "       [15, 1.5]], dtype=object)\n",
       "Coordinates:\n",
       "  * produit   (produit) object 'orange' 'pomme' 'banane' 'piment'\n",
       "  * quantite  (quantite) object 'carton 10 kg' 'sachet 1 kg'\n",
       "    aliment   (produit) object 'fruit' 'fruit' 'fruit' 'legume'\n",
       "Attributes:\n",
       "    validite:  du 1/7/2022 au 31/12/2022"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tarif.to_xarray(varname='prix')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "571614b3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div><svg style=\"position: absolute; width: 0; height: 0; overflow: hidden\">\n",
       "<defs>\n",
       "<symbol id=\"icon-database\" viewBox=\"0 0 32 32\">\n",
       "<path d=\"M16 0c-8.837 0-16 2.239-16 5v4c0 2.761 7.163 5 16 5s16-2.239 16-5v-4c0-2.761-7.163-5-16-5z\"></path>\n",
       "<path d=\"M16 17c-8.837 0-16-2.239-16-5v6c0 2.761 7.163 5 16 5s16-2.239 16-5v-6c0 2.761-7.163 5-16 5z\"></path>\n",
       "<path d=\"M16 26c-8.837 0-16-2.239-16-5v6c0 2.761 7.163 5 16 5s16-2.239 16-5v-6c0 2.761-7.163 5-16 5z\"></path>\n",
       "</symbol>\n",
       "<symbol id=\"icon-file-text2\" viewBox=\"0 0 32 32\">\n",
       "<path d=\"M28.681 7.159c-0.694-0.947-1.662-2.053-2.724-3.116s-2.169-2.030-3.116-2.724c-1.612-1.182-2.393-1.319-2.841-1.319h-15.5c-1.378 0-2.5 1.121-2.5 2.5v27c0 1.378 1.122 2.5 2.5 2.5h23c1.378 0 2.5-1.122 2.5-2.5v-19.5c0-0.448-0.137-1.23-1.319-2.841zM24.543 5.457c0.959 0.959 1.712 1.825 2.268 2.543h-4.811v-4.811c0.718 0.556 1.584 1.309 2.543 2.268zM28 29.5c0 0.271-0.229 0.5-0.5 0.5h-23c-0.271 0-0.5-0.229-0.5-0.5v-27c0-0.271 0.229-0.5 0.5-0.5 0 0 15.499-0 15.5 0v7c0 0.552 0.448 1 1 1h7v19.5z\"></path>\n",
       "<path d=\"M23 26h-14c-0.552 0-1-0.448-1-1s0.448-1 1-1h14c0.552 0 1 0.448 1 1s-0.448 1-1 1z\"></path>\n",
       "<path d=\"M23 22h-14c-0.552 0-1-0.448-1-1s0.448-1 1-1h14c0.552 0 1 0.448 1 1s-0.448 1-1 1z\"></path>\n",
       "<path d=\"M23 18h-14c-0.552 0-1-0.448-1-1s0.448-1 1-1h14c0.552 0 1 0.448 1 1s-0.448 1-1 1z\"></path>\n",
       "</symbol>\n",
       "</defs>\n",
       "</svg>\n",
       "<style>/* CSS stylesheet for displaying xarray objects in jupyterlab.\n",
       " *\n",
       " */\n",
       "\n",
       ":root {\n",
       "  --xr-font-color0: var(--jp-content-font-color0, rgba(0, 0, 0, 1));\n",
       "  --xr-font-color2: var(--jp-content-font-color2, rgba(0, 0, 0, 0.54));\n",
       "  --xr-font-color3: var(--jp-content-font-color3, rgba(0, 0, 0, 0.38));\n",
       "  --xr-border-color: var(--jp-border-color2, #e0e0e0);\n",
       "  --xr-disabled-color: var(--jp-layout-color3, #bdbdbd);\n",
       "  --xr-background-color: var(--jp-layout-color0, white);\n",
       "  --xr-background-color-row-even: var(--jp-layout-color1, white);\n",
       "  --xr-background-color-row-odd: var(--jp-layout-color2, #eeeeee);\n",
       "}\n",
       "\n",
       "html[theme=dark],\n",
       "body.vscode-dark {\n",
       "  --xr-font-color0: rgba(255, 255, 255, 1);\n",
       "  --xr-font-color2: rgba(255, 255, 255, 0.54);\n",
       "  --xr-font-color3: rgba(255, 255, 255, 0.38);\n",
       "  --xr-border-color: #1F1F1F;\n",
       "  --xr-disabled-color: #515151;\n",
       "  --xr-background-color: #111111;\n",
       "  --xr-background-color-row-even: #111111;\n",
       "  --xr-background-color-row-odd: #313131;\n",
       "}\n",
       "\n",
       ".xr-wrap {\n",
       "  display: block;\n",
       "  min-width: 300px;\n",
       "  max-width: 700px;\n",
       "}\n",
       "\n",
       ".xr-text-repr-fallback {\n",
       "  /* fallback to plain text repr when CSS is not injected (untrusted notebook) */\n",
       "  display: none;\n",
       "}\n",
       "\n",
       ".xr-header {\n",
       "  padding-top: 6px;\n",
       "  padding-bottom: 6px;\n",
       "  margin-bottom: 4px;\n",
       "  border-bottom: solid 1px var(--xr-border-color);\n",
       "}\n",
       "\n",
       ".xr-header > div,\n",
       ".xr-header > ul {\n",
       "  display: inline;\n",
       "  margin-top: 0;\n",
       "  margin-bottom: 0;\n",
       "}\n",
       "\n",
       ".xr-obj-type,\n",
       ".xr-array-name {\n",
       "  margin-left: 2px;\n",
       "  margin-right: 10px;\n",
       "}\n",
       "\n",
       ".xr-obj-type {\n",
       "  color: var(--xr-font-color2);\n",
       "}\n",
       "\n",
       ".xr-sections {\n",
       "  padding-left: 0 !important;\n",
       "  display: grid;\n",
       "  grid-template-columns: 150px auto auto 1fr 20px 20px;\n",
       "}\n",
       "\n",
       ".xr-section-item {\n",
       "  display: contents;\n",
       "}\n",
       "\n",
       ".xr-section-item input {\n",
       "  display: none;\n",
       "}\n",
       "\n",
       ".xr-section-item input + label {\n",
       "  color: var(--xr-disabled-color);\n",
       "}\n",
       "\n",
       ".xr-section-item input:enabled + label {\n",
       "  cursor: pointer;\n",
       "  color: var(--xr-font-color2);\n",
       "}\n",
       "\n",
       ".xr-section-item input:enabled + label:hover {\n",
       "  color: var(--xr-font-color0);\n",
       "}\n",
       "\n",
       ".xr-section-summary {\n",
       "  grid-column: 1;\n",
       "  color: var(--xr-font-color2);\n",
       "  font-weight: 500;\n",
       "}\n",
       "\n",
       ".xr-section-summary > span {\n",
       "  display: inline-block;\n",
       "  padding-left: 0.5em;\n",
       "}\n",
       "\n",
       ".xr-section-summary-in:disabled + label {\n",
       "  color: var(--xr-font-color2);\n",
       "}\n",
       "\n",
       ".xr-section-summary-in + label:before {\n",
       "  display: inline-block;\n",
       "  content: '►';\n",
       "  font-size: 11px;\n",
       "  width: 15px;\n",
       "  text-align: center;\n",
       "}\n",
       "\n",
       ".xr-section-summary-in:disabled + label:before {\n",
       "  color: var(--xr-disabled-color);\n",
       "}\n",
       "\n",
       ".xr-section-summary-in:checked + label:before {\n",
       "  content: '▼';\n",
       "}\n",
       "\n",
       ".xr-section-summary-in:checked + label > span {\n",
       "  display: none;\n",
       "}\n",
       "\n",
       ".xr-section-summary,\n",
       ".xr-section-inline-details {\n",
       "  padding-top: 4px;\n",
       "  padding-bottom: 4px;\n",
       "}\n",
       "\n",
       ".xr-section-inline-details {\n",
       "  grid-column: 2 / -1;\n",
       "}\n",
       "\n",
       ".xr-section-details {\n",
       "  display: none;\n",
       "  grid-column: 1 / -1;\n",
       "  margin-bottom: 5px;\n",
       "}\n",
       "\n",
       ".xr-section-summary-in:checked ~ .xr-section-details {\n",
       "  display: contents;\n",
       "}\n",
       "\n",
       ".xr-array-wrap {\n",
       "  grid-column: 1 / -1;\n",
       "  display: grid;\n",
       "  grid-template-columns: 20px auto;\n",
       "}\n",
       "\n",
       ".xr-array-wrap > label {\n",
       "  grid-column: 1;\n",
       "  vertical-align: top;\n",
       "}\n",
       "\n",
       ".xr-preview {\n",
       "  color: var(--xr-font-color3);\n",
       "}\n",
       "\n",
       ".xr-array-preview,\n",
       ".xr-array-data {\n",
       "  padding: 0 5px !important;\n",
       "  grid-column: 2;\n",
       "}\n",
       "\n",
       ".xr-array-data,\n",
       ".xr-array-in:checked ~ .xr-array-preview {\n",
       "  display: none;\n",
       "}\n",
       "\n",
       ".xr-array-in:checked ~ .xr-array-data,\n",
       ".xr-array-preview {\n",
       "  display: inline-block;\n",
       "}\n",
       "\n",
       ".xr-dim-list {\n",
       "  display: inline-block !important;\n",
       "  list-style: none;\n",
       "  padding: 0 !important;\n",
       "  margin: 0;\n",
       "}\n",
       "\n",
       ".xr-dim-list li {\n",
       "  display: inline-block;\n",
       "  padding: 0;\n",
       "  margin: 0;\n",
       "}\n",
       "\n",
       ".xr-dim-list:before {\n",
       "  content: '(';\n",
       "}\n",
       "\n",
       ".xr-dim-list:after {\n",
       "  content: ')';\n",
       "}\n",
       "\n",
       ".xr-dim-list li:not(:last-child):after {\n",
       "  content: ',';\n",
       "  padding-right: 5px;\n",
       "}\n",
       "\n",
       ".xr-has-index {\n",
       "  font-weight: bold;\n",
       "}\n",
       "\n",
       ".xr-var-list,\n",
       ".xr-var-item {\n",
       "  display: contents;\n",
       "}\n",
       "\n",
       ".xr-var-item > div,\n",
       ".xr-var-item label,\n",
       ".xr-var-item > .xr-var-name span {\n",
       "  background-color: var(--xr-background-color-row-even);\n",
       "  margin-bottom: 0;\n",
       "}\n",
       "\n",
       ".xr-var-item > .xr-var-name:hover span {\n",
       "  padding-right: 5px;\n",
       "}\n",
       "\n",
       ".xr-var-list > li:nth-child(odd) > div,\n",
       ".xr-var-list > li:nth-child(odd) > label,\n",
       ".xr-var-list > li:nth-child(odd) > .xr-var-name span {\n",
       "  background-color: var(--xr-background-color-row-odd);\n",
       "}\n",
       "\n",
       ".xr-var-name {\n",
       "  grid-column: 1;\n",
       "}\n",
       "\n",
       ".xr-var-dims {\n",
       "  grid-column: 2;\n",
       "}\n",
       "\n",
       ".xr-var-dtype {\n",
       "  grid-column: 3;\n",
       "  text-align: right;\n",
       "  color: var(--xr-font-color2);\n",
       "}\n",
       "\n",
       ".xr-var-preview {\n",
       "  grid-column: 4;\n",
       "}\n",
       "\n",
       ".xr-var-name,\n",
       ".xr-var-dims,\n",
       ".xr-var-dtype,\n",
       ".xr-preview,\n",
       ".xr-attrs dt {\n",
       "  white-space: nowrap;\n",
       "  overflow: hidden;\n",
       "  text-overflow: ellipsis;\n",
       "  padding-right: 10px;\n",
       "}\n",
       "\n",
       ".xr-var-name:hover,\n",
       ".xr-var-dims:hover,\n",
       ".xr-var-dtype:hover,\n",
       ".xr-attrs dt:hover {\n",
       "  overflow: visible;\n",
       "  width: auto;\n",
       "  z-index: 1;\n",
       "}\n",
       "\n",
       ".xr-var-attrs,\n",
       ".xr-var-data {\n",
       "  display: none;\n",
       "  background-color: var(--xr-background-color) !important;\n",
       "  padding-bottom: 5px !important;\n",
       "}\n",
       "\n",
       ".xr-var-attrs-in:checked ~ .xr-var-attrs,\n",
       ".xr-var-data-in:checked ~ .xr-var-data {\n",
       "  display: block;\n",
       "}\n",
       "\n",
       ".xr-var-data > table {\n",
       "  float: right;\n",
       "}\n",
       "\n",
       ".xr-var-name span,\n",
       ".xr-var-data,\n",
       ".xr-attrs {\n",
       "  padding-left: 25px !important;\n",
       "}\n",
       "\n",
       ".xr-attrs,\n",
       ".xr-var-attrs,\n",
       ".xr-var-data {\n",
       "  grid-column: 1 / -1;\n",
       "}\n",
       "\n",
       "dl.xr-attrs {\n",
       "  padding: 0;\n",
       "  margin: 0;\n",
       "  display: grid;\n",
       "  grid-template-columns: 125px auto;\n",
       "}\n",
       "\n",
       ".xr-attrs dt,\n",
       ".xr-attrs dd {\n",
       "  padding: 0;\n",
       "  margin: 0;\n",
       "  float: left;\n",
       "  padding-right: 10px;\n",
       "  width: auto;\n",
       "}\n",
       "\n",
       ".xr-attrs dt {\n",
       "  font-weight: normal;\n",
       "  grid-column: 1;\n",
       "}\n",
       "\n",
       ".xr-attrs dt:hover span {\n",
       "  display: inline-block;\n",
       "  background: var(--xr-background-color);\n",
       "  padding-right: 10px;\n",
       "}\n",
       "\n",
       ".xr-attrs dd {\n",
       "  grid-column: 2;\n",
       "  white-space: pre-wrap;\n",
       "  word-break: break-all;\n",
       "}\n",
       "\n",
       ".xr-icon-database,\n",
       ".xr-icon-file-text2 {\n",
       "  display: inline-block;\n",
       "  vertical-align: middle;\n",
       "  width: 1em;\n",
       "  height: 1.5em !important;\n",
       "  stroke-width: 0;\n",
       "  stroke: currentColor;\n",
       "  fill: currentColor;\n",
       "}\n",
       "</style><pre class='xr-text-repr-fallback'>&lt;xarray.DataArray &#x27;disponibilite&#x27; (produit: 4, quantite: 2)&gt;\n",
       "array([[&#x27;fin 2022&#x27;, &#x27;fin 2022&#x27;],\n",
       "       [&#x27;oui&#x27;, &#x27;oui&#x27;],\n",
       "       [&#x27;oui&#x27;, &#x27;oui&#x27;],\n",
       "       [&#x27;fin 2022&#x27;, &#x27;oui&#x27;]], dtype=object)\n",
       "Coordinates:\n",
       "  * produit   (produit) object &#x27;orange&#x27; &#x27;pomme&#x27; &#x27;banane&#x27; &#x27;piment&#x27;\n",
       "  * quantite  (quantite) object &#x27;carton 10 kg&#x27; &#x27;sachet 1 kg&#x27;\n",
       "    aliment   (produit) object &#x27;fruit&#x27; &#x27;fruit&#x27; &#x27;fruit&#x27; &#x27;legume&#x27;\n",
       "Attributes:\n",
       "    validite:  du 1/7/2022 au 31/12/2022</pre><div class='xr-wrap' hidden><div class='xr-header'><div class='xr-obj-type'>xarray.DataArray</div><div class='xr-array-name'>'disponibilite'</div><ul class='xr-dim-list'><li><span class='xr-has-index'>produit</span>: 4</li><li><span class='xr-has-index'>quantite</span>: 2</li></ul></div><ul class='xr-sections'><li class='xr-section-item'><div class='xr-array-wrap'><input id='section-5480e528-2218-4cf9-bca6-f44001266413' class='xr-array-in' type='checkbox' checked><label for='section-5480e528-2218-4cf9-bca6-f44001266413' title='Show/hide data repr'><svg class='icon xr-icon-database'><use xlink:href='#icon-database'></use></svg></label><div class='xr-array-preview xr-preview'><span>&#x27;fin 2022&#x27; &#x27;fin 2022&#x27; &#x27;oui&#x27; &#x27;oui&#x27; &#x27;oui&#x27; &#x27;oui&#x27; &#x27;fin 2022&#x27; &#x27;oui&#x27;</span></div><div class='xr-array-data'><pre>array([[&#x27;fin 2022&#x27;, &#x27;fin 2022&#x27;],\n",
       "       [&#x27;oui&#x27;, &#x27;oui&#x27;],\n",
       "       [&#x27;oui&#x27;, &#x27;oui&#x27;],\n",
       "       [&#x27;fin 2022&#x27;, &#x27;oui&#x27;]], dtype=object)</pre></div></div></li><li class='xr-section-item'><input id='section-d4c2c83a-fbf5-416b-ada6-dee200cc1b56' class='xr-section-summary-in' type='checkbox'  checked><label for='section-d4c2c83a-fbf5-416b-ada6-dee200cc1b56' class='xr-section-summary' >Coordinates: <span>(3)</span></label><div class='xr-section-inline-details'></div><div class='xr-section-details'><ul class='xr-var-list'><li class='xr-var-item'><div class='xr-var-name'><span class='xr-has-index'>produit</span></div><div class='xr-var-dims'>(produit)</div><div class='xr-var-dtype'>object</div><div class='xr-var-preview xr-preview'>&#x27;orange&#x27; &#x27;pomme&#x27; &#x27;banane&#x27; &#x27;piment&#x27;</div><input id='attrs-57f54694-2831-400f-a436-469665bc986d' class='xr-var-attrs-in' type='checkbox' disabled><label for='attrs-57f54694-2831-400f-a436-469665bc986d' title='Show/Hide attributes'><svg class='icon xr-icon-file-text2'><use xlink:href='#icon-file-text2'></use></svg></label><input id='data-73674099-b5a4-4c12-b6be-c9a164cf1b8e' class='xr-var-data-in' type='checkbox'><label for='data-73674099-b5a4-4c12-b6be-c9a164cf1b8e' title='Show/Hide data repr'><svg class='icon xr-icon-database'><use xlink:href='#icon-database'></use></svg></label><div class='xr-var-attrs'><dl class='xr-attrs'></dl></div><div class='xr-var-data'><pre>array([&#x27;orange&#x27;, &#x27;pomme&#x27;, &#x27;banane&#x27;, &#x27;piment&#x27;], dtype=object)</pre></div></li><li class='xr-var-item'><div class='xr-var-name'><span class='xr-has-index'>quantite</span></div><div class='xr-var-dims'>(quantite)</div><div class='xr-var-dtype'>object</div><div class='xr-var-preview xr-preview'>&#x27;carton 10 kg&#x27; &#x27;sachet 1 kg&#x27;</div><input id='attrs-5dc591f7-4f8e-4672-850f-454e1f0ac13d' class='xr-var-attrs-in' type='checkbox' disabled><label for='attrs-5dc591f7-4f8e-4672-850f-454e1f0ac13d' title='Show/Hide attributes'><svg class='icon xr-icon-file-text2'><use xlink:href='#icon-file-text2'></use></svg></label><input id='data-f76a0530-b30e-4dc6-822a-11d2bb39b8a1' class='xr-var-data-in' type='checkbox'><label for='data-f76a0530-b30e-4dc6-822a-11d2bb39b8a1' title='Show/Hide data repr'><svg class='icon xr-icon-database'><use xlink:href='#icon-database'></use></svg></label><div class='xr-var-attrs'><dl class='xr-attrs'></dl></div><div class='xr-var-data'><pre>array([&#x27;carton 10 kg&#x27;, &#x27;sachet 1 kg&#x27;], dtype=object)</pre></div></li><li class='xr-var-item'><div class='xr-var-name'><span>aliment</span></div><div class='xr-var-dims'>(produit)</div><div class='xr-var-dtype'>object</div><div class='xr-var-preview xr-preview'>&#x27;fruit&#x27; &#x27;fruit&#x27; &#x27;fruit&#x27; &#x27;legume&#x27;</div><input id='attrs-248d7d0e-07ef-45ea-9874-4f69a7b85f14' class='xr-var-attrs-in' type='checkbox' disabled><label for='attrs-248d7d0e-07ef-45ea-9874-4f69a7b85f14' title='Show/Hide attributes'><svg class='icon xr-icon-file-text2'><use xlink:href='#icon-file-text2'></use></svg></label><input id='data-d4598f6f-a13b-4c2d-aeb8-81725ab28b76' class='xr-var-data-in' type='checkbox'><label for='data-d4598f6f-a13b-4c2d-aeb8-81725ab28b76' title='Show/Hide data repr'><svg class='icon xr-icon-database'><use xlink:href='#icon-database'></use></svg></label><div class='xr-var-attrs'><dl class='xr-attrs'></dl></div><div class='xr-var-data'><pre>array([&#x27;fruit&#x27;, &#x27;fruit&#x27;, &#x27;fruit&#x27;, &#x27;legume&#x27;], dtype=object)</pre></div></li></ul></div></li><li class='xr-section-item'><input id='section-73b52fb6-74c4-4bed-b6b9-a5288293da4c' class='xr-section-summary-in' type='checkbox'  checked><label for='section-73b52fb6-74c4-4bed-b6b9-a5288293da4c' class='xr-section-summary' >Attributes: <span>(1)</span></label><div class='xr-section-inline-details'></div><div class='xr-section-details'><dl class='xr-attrs'><dt><span>validite :</span></dt><dd>du 1/7/2022 au 31/12/2022</dd></dl></div></li></ul></div></div>"
      ],
      "text/plain": [
       "<xarray.DataArray 'disponibilite' (produit: 4, quantite: 2)>\n",
       "array([['fin 2022', 'fin 2022'],\n",
       "       ['oui', 'oui'],\n",
       "       ['oui', 'oui'],\n",
       "       ['fin 2022', 'oui']], dtype=object)\n",
       "Coordinates:\n",
       "  * produit   (produit) object 'orange' 'pomme' 'banane' 'piment'\n",
       "  * quantite  (quantite) object 'carton 10 kg' 'sachet 1 kg'\n",
       "    aliment   (produit) object 'fruit' 'fruit' 'fruit' 'legume'\n",
       "Attributes:\n",
       "    validite:  du 1/7/2022 au 31/12/2022"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tarif.to_xarray(varname='disponibilite')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f37b57d5",
   "metadata": {},
   "source": [
    "### Format d'échange\n",
    "(voir partie 1 : [Optimisation des formats d'échange](#Optimisation-des-formats-d'échange))    \n",
    "\n",
    "Les trois formats ont des tailles différentes.    \n",
    "Dans le format optimisé, aucune duplication n'est réalisée et les informations supplémentaires de codification sont très faibles :     \n",
    "- [0, [0, 0, 1, 0]], \n",
    "- [4, [1, 1, 0, 0, 0, 1, 1, 1]]\n",
    "- 4"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "c4e44d20",
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "taille :  747 358 215\n",
      "\n",
      "mode équivalent csv :\n",
      "[['produit', ['banane', 'banane', 'orange', 'orange', 'piment', 'piment', 'pomme', 'pomme']],\n",
      " ['quantite', ['carton 10 kg', 'sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg', 'sachet 1 kg']],\n",
      " ['aliment', ['fruit', 'fruit', 'fruit', 'fruit', 'legume', 'legume', 'fruit', 'fruit']],\n",
      " ['id', [18, 17, 14, 13, 16, 15, 12, 11]],\n",
      " ['disponibilite', ['oui', 'oui', 'fin 2022', 'fin 2022', 'fin 2022', 'oui', 'oui', 'oui']],\n",
      " ['prix', [5, 0.5, 20, 2, 15, 1.5, 10, 1]],\n",
      " ['validite', ['du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022']]]\n",
      "\n",
      "mode optimisé :\n",
      "[['produit', ['banane', 'orange', 'piment', 'pomme']],\n",
      " ['quantite', ['carton 10 kg', 'sachet 1 kg']],\n",
      " ['aliment', ['fruit', 'legume'], [0, [0, 0, 1, 0]]],\n",
      " ['id', [18, 17, 14, 13, 16, 15, 12, 11]],\n",
      " ['disponibilite', ['fin 2022', 'oui'], [3, [1, 1, 0, 0, 0, 1, 1, 1]]],\n",
      " ['prix', [5, 0.5, 20, 2, 15, 1.5, 10, 1], 3],\n",
      " ['validite', ['du 1/7/2022 au 31/12/2022']]]\n"
     ]
    }
   ],
   "source": [
    "from pprint import pprint\n",
    "\n",
    "# arrangement de l'ordre des lignes et des colonnes\n",
    "tarif.setcanonorder(reindex=True)\n",
    "\n",
    "# génération du format JSON pour différentes options\n",
    "fichier_csv = tarif.json(modecodec='full', encoded=True)\n",
    "fichier_opt = tarif.json(modecodec='optimize', encoded=True)\n",
    "fichier_bin = tarif.json(modecodec='optimize', encoded=True, encode_format='cbor')\n",
    "\n",
    "# affichage de la taille (longueur) des formats texte ou binaires\n",
    "print('taille : ', len(fichier_csv), len(fichier_opt), len(fichier_bin))\n",
    "\n",
    "# affichage des deux formats texte\n",
    "print('\\nmode équivalent csv :')\n",
    "pprint(tarif.json(modecodec='full'), width=250)\n",
    "print('\\nmode optimisé :')\n",
    "pprint(tarif.json(modecodec='optimize'))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c4798364",
   "metadata": {},
   "source": [
    "### identifiant\n",
    "(voir partie 1 : [Identifiant unique](#Identifiant-unique))    \n",
    "    \n",
    "La fonction hash fournit l'identifiant unique de l'objet.   \n",
    "Les objets reconstruits à partir de chacun des trois formats sont identiques."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "a6cb22a6",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "-2137159051509606513\n",
      "-2137159051509606513\n",
      "-2137159051509606513\n"
     ]
    }
   ],
   "source": [
    "# affichage de la fonction hash appliquée à chacun des objets reconstruits\n",
    "print(hash(Ilist.from_obj(fichier_csv)))\n",
    "print(hash(Ilist.from_obj(fichier_opt)))\n",
    "print(hash(Ilist.from_obj(fichier_bin)))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "550ad6e5",
   "metadata": {},
   "source": [
    "### agrégation\n",
    "(voir partie 1 : [Agrégation de structure](#Agrégation-de-structure))    \n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "0f4b510a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "fruit = Ilist.obj([['id', [11, 12, 13, 14, 17, 18]],\n",
    "                   ['produit', ['pomme', 'pomme', 'orange', 'orange', 'banane', 'banane']],\n",
    "                   ['quantite', ['sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg', 'sachet 1 kg', 'carton 10 kg']],\n",
    "                   ['prix', [1, 10, 2, 20, 0.5, 5]],\n",
    "                   ['disponibilite', ['oui', 'oui','fin 2022','fin 2022','oui','oui']]])\n",
    "legume = Ilist.obj([['id', [15, 16]],\n",
    "                   ['produit', ['piment', 'piment']],\n",
    "                   ['quantite', ['sachet 1 kg', 'carton 10 kg']],\n",
    "                   ['prix', [1.5, 15]],\n",
    "                   ['disponibilite', ['oui','fin 2022']]])\n",
    "\n",
    "# L'objet 'cost' est l'agrégation de l'objet 'fruit' et l'objet 'legume'\n",
    "cost = Ilist.obj([['aliment', ['fruit', 'legume']],\n",
    "                  ['validite', ['du 1/7/2022 au 31/12/2022', 'du 1/7/2022 au 31/12/2022']],\n",
    "                  ['total', [fruit, legume]]])\n",
    "\n",
    "# L'objet cost_merged correspond à l'objet 'cost' déplié.\n",
    "cost_merged = cost.merge(reindex=True)\n",
    "cost_merged.setcanonorder(reindex=True)\n",
    "\n",
    "# on retrouve bien l'objet 'tarif' initial\n",
    "tarif == cost_merged"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e9994fc1",
   "metadata": {},
   "source": [
    "### indicateurs\n",
    "(voir partie 1 : [Indicateurs qualité](#Indicateurs-qualité))\n",
    "     \n",
    "'unicity level' correspond au taux d'optimisation maximal atteignable\n",
    "'optimize level' correspond au taux d'optimisation atteint\n",
    "'mean size' est la taille moyenne des valeurs du tableau en octets\n",
    "'mean coding size' correspond au nombre d'octets nécessaires pour représenter une valeur dupliquée"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "643259ab",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'total values': 64,\n",
       " 'mean size': 11.672,\n",
       " 'unique values': 34,\n",
       " 'mean coding size': -1.295,\n",
       " 'unicity level': 0.531,\n",
       " 'optimize level': 0.479,\n",
       " 'object lightness': -0.111,\n",
       " 'maxgain': 0.469,\n",
       " 'gain': 0.521}"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tarif.indicator()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eeb864e5",
   "metadata": {},
   "source": [
    "### accès banalisé\n",
    "(voir partie 1 : [Moyen d'accès optimisé](#Moyen-d'accès-optimisé))    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "dfcf1574",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "6393c17c3a8b64b57d7391d4\n",
      "True\n",
      "\n",
      "    [\"produit\", [\"piment\", \"piment\"]]\n",
      "    [\"quantite\", [\"carton 10 kg\", \"sachet 1 kg\"]]\n",
      "    [\"aliment\", [\"legume\", \"legume\"]]\n",
      "    [\"id\", [16, 15]]\n",
      "    [\"disponibilite\", [\"fin 2022\", \"oui\"]]\n",
      "    [\"prix\", [15, 1.5]]\n",
      "    [\"validite\", [\"du 1/7/2022 au 31/12/2022\", \"du 1/7/2022 au 31/12/2022\"]]\n",
      "\n"
     ]
    }
   ],
   "source": [
    "from test_mongo import clientMongo\n",
    "from essearch import ESSearch\n",
    "from observation import Observation\n",
    "\n",
    "collec = clientMongo()['test_obs']['observation']\n",
    "\n",
    "# envoi de l'objet 'tarif' (l'objet Observation ajoute des méta-donnnées à l'objet Ilist) dans une base mongoDB\n",
    "json_tarif = Observation(tarif, name='example_tarif').json(modecodec='dict')\n",
    "print(collec.insert_one(json_tarif).inserted_id)\n",
    "\n",
    "# définition du critère de recheche de l'objet 'tarif'\n",
    "critere_tarif = {'path':'name', 'operand': 'example_tarif', 'comparator': '=='}\n",
    "\n",
    "# vérification que l'objet récupéré (tarif_complet remis au format Ilist) est bien identique à celui envoyé\n",
    "tarif_complet = ESSearch(critere_tarif, collec).execute(single=True)\n",
    "print(Ilist(tarif_complet) == tarif)\n",
    "\n",
    "#ajout d'un critère supplémentaire pour ne cherche que la partie de 'tarif' qui concerne les aliments de type 'legume'\n",
    "tarif_legume = ESSearch([['aliment', 'legume'], critere_tarif], collec).execute(single=True)\n",
    "print(Ilist(tarif_legume))\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}