Skip to content

Commit 072596d

Browse files
authored
Merge pull request #83 from abes-esr/develop
develop to main
2 parents 2a5ee55 + ee62cef commit 072596d

File tree

3 files changed

+14
-7
lines changed

3 files changed

+14
-7
lines changed

README-developpement.md

Lines changed: 9 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -3,21 +3,24 @@
33
API permettant de lire, contrôler et traiter un fichier kbart de type TSV (Tab-separated values).
44
Le langage utilisé est Java, avec le framework Spring.
55

6+
## Schéma de l'architecture du projet Convergence
7+
![schéma de l'architecture du projet Convergence](documentation/ArchitectureConvergence.svg "schéma de l'architecture du projet Convergence")
8+
69
## Lecture du fichier
7-
(class `Kbart2kafkaApplication.java`)
10+
*(class `Kbart2kafkaApplication.java`)*
811

912
L'utilisateur lance le chargement d'un fichier kbart à partir de l'application cercle-bacon.
1013

1114
Les développeurs et développeuses peuvent lancer le chargement d'un fichier kbart :
1215
- via une ligne de commande directement à partir du serveur d'installation de l'API `sudo docker exec kbart2kafka java -jar /app/run/kbart2kafka.jar /app/kbart/SPRINGER_GLOBAL_ALLEBOOKS_2023-05-01.tsv` (vérifier que le container docker soit démarré ainsi que la présence des chemins d'accès et du fichier kbart)
13-
- via un IDE ![configuration de l'IDE intelliJ](documentation/IDE_config.png "configuration de l'IDE IntelliJ")
16+
- via un IDE (exemple avec IntelliJ) ![configuration de l'IDE intelliJ](documentation/IDE_config.png "configuration de l'IDE IntelliJ")
1417

1518
Ces deux derniers types de lancement sont détaillés sur le gitlab de l'Abes (accès sécurisé) : [git.abes.fr](https://git.abes.fr/colodus/convergence-configuration)
1619

1720
Le fichier est passé en paramètre de l'application `public void run(String... args)`
1821

1922
## Contrôle du fichier
20-
(class `Kbart2kafkaApplication.java` et `CheckFiles.java`)
23+
*(class `Kbart2kafkaApplication.java` et `CheckFiles.java`)*
2124

2225
Lors du lancement de l'API, celle-ci vérifie qu'un fichier a bien été joint. Le cas échéant, le fichier est chargé.
2326
Le nom du fichier est passé dans le threadContext `ThreadContext.put("package", args[0]);`
@@ -48,9 +51,9 @@ spring.sql.bacon.init.mode=never
4851
```
4952

5053
## Traitement du fichier
51-
(class `FileService.java`)
54+
*(class `FileService.java`)*
5255

53-
Le traitement du fichier est en multithread. Le nombre de thread est inscrit dans les fichiers application-dev.properties, application-test.properties, application-prod.properties, application-localhost.properties (`spring.kafka.producer.nbthread`)
56+
>[!NOTE] Le traitement du fichier est en multithread. Le nombre de thread est inscrit dans les fichiers application-dev.properties, application-test.properties, application-prod.properties, application-localhost.properties (`spring.kafka.producer.nbthread`)
5457
5558
Un `ExecutorService` est instancié puis initialisé dans :
5659
```java
@@ -72,4 +75,4 @@ Les valeurs attribuées aux paramètres `topicKbart` et `topicErrors` sont inscr
7275
topic.name.target.kbart=bacon.kbart.toload
7376
topic.name.target.errors=bacon.kbart.toload.errors
7477
```
75-
Le topic Kafka `bacon.kbart.toload` doit être créé avec un nombre de partitions équivalent au nombre de thread de l'API.
78+
>[!IMPORTANT] Le topic Kafka `bacon.kbart.toload` doit être créé avec un nombre de partitions équivalent au nombre de thread de l'API.

README.md

Lines changed: 2 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -5,7 +5,7 @@ Vous êtes sur le README usager. Si vous souhaitez accéder au README développe
55
API permettant de lire, contrôler et traiter un fichier kbart de type TSV (Tab-separated values).
66

77
## Lecture du fichier
8-
Le fichier kbart est chargé à partir de l'application cercle-bacon. Il est également possible de charger un fichier kbart via une ligne de commande directement à partir du serveur d'installation de l'API.
8+
Le fichier kbart est chargé à partir de l'application cercle-bacon ([lien vers cercles-bacon](https://cerclesbacon.abes.fr/)). Il est également possible de charger un fichier kbart via une ligne de commande directement à partir du serveur d'installation de l'API.
99

1010
## Contrôle du fichier
1111
Lors du lancement de l'API, celle-ci vérifie qu'un fichier a bien été joint. Le cas échéant, le fichier est chargé.
@@ -16,6 +16,7 @@ Après chargement du fichier, plusieurs données sont vérifiées :
1616
- l'extension du fichier (.tsv)
1717
- la présence de tabulations sur toutes les lignes du fichier
1818
- la présence d'un header conforme
19+
1920
Le chargement antérieur d'un fichier kbart plus récent est ensuite contrôlé. Si tel est le cas, la tentative de chargement échoue.
2021

2122
## Traitement du fichier

documentation/ArchitectureConvergence.svg

Lines changed: 3 additions & 0 deletions
Loading

0 commit comments

Comments
 (0)