CNAM+ Simple - Cursus Web Scraper

📋 Vue d'ensemble

CNAM+ Simple est une application web scraper dédiée à l'extraction et la mise en cache des données de la formation continue du CNAM (Conservatoire National des Arts et Métiers) depuis le portail bedeo.cnam.fr.

Le projet est construit selon une architecture monorepo Turbo basée sur le template SCTG Vite/React avec:

Frontend: Application React/Vite (client léger)
Backend: Cloudflare Worker (API serverless)

🎯 Objectifs du projet

Scraper les données de cursus du site CNAM de manière efficace et fiable
Mettre en cache les résultats pour réduire les appels aux serveurs CNAM
Exposer une API REST sécurisée avec contrôle de cache
Supporter deux niveaux d'enrichissement:
- Level 1: Structure de Cursus (années, unités, codes)
- Level 2: Détails complets des unités (objectifs, contenu, bibliographie)

Note sur le déploiement et les limitations du plan Cloudflare ⚠️

Le projet fonctionne complètement en local et fonctionne également sur un Cloudflare Worker payant (ce dernier permet des durées CPU par requête plus longues nécessaires pour produire des descriptions complètes). En revanche, la version actuellement déployée en production utilise un Worker sur le plan gratuit, dont les limites CPU par requête peuvent empêcher la génération intégrale des descriptions longues — d'où des réponses tronquées ou incomplètes en production.

Le fichier examples/CYC9101A.md a été généré sur un Worker du plan payant (c'est pourquoi il contient la description intégrale). Si vous voulez reproduire ce résultat en production, il est recommandé de déployer le service sur un Worker payant ou d'implémenter un job asynchrone côté backend pour traiter les enrichissements longue durée.

🏗️ Architecture

cnam+simple/
├── apps/
│   ├── client/                 # Frontend React/Vite
│   │   ├── src/
│   │   │   ├── components/     # Composants UI
│   │   │   ├── pages/          # Pages de l'application
│   │   │   └── locales/        # Traductions (i18n)
│   │   └── vite.config.ts
│   └── cloudflare-worker/      # Backend Cloudflare Worker
│       ├── src/
│       │   ├── scraper/        # Logique de scraping
│       │   ├── cache/          # Gestion du cache KV
│       │   ├── routes/         # Handlers API
│       │   ├── utils/          # Utilitaires (validation, etc)
│       │   └── __tests__/      # Tests unitaires
│       ├── vitest.config.ts
│       └── wrangler.jsonc      # Configuration Cloudflare
├── turbo.json                  # Config monorepo
├── package.json
└── .env                        # Variables d'environnement

🔧 Stack technique

Frontend (Client)

Framework: React 19 avec TypeScript
Build: Vite
Styling: TailwindCSS + HeroUI
i18n: Support multilingue (FR, EN, ES, AR, HE, ZH)
Package Manager: Yarn

Backend (Worker)

Runtime: Cloudflare Workers (serverless)
Browser: Cloudflare Playwright (headless automation)
Storage: Cloudflare KV (clé-valeur distribuée)
Language: TypeScript 5.9+
Testing: Vitest 3.2+ avec Cloudflare vitest-pool-workers
Timeout: Limite 30 secondes (contrainte Cloudflare)

Dépendances critiques

@cloudflare/playwright: Automatisation via navigateur headless
jose: Gestion JWT
sha512crypt-node: Validation de mots de passe SHA512-crypt

🔍 Processus de scraping

Level 1: Structure de Cursus (5-10s)

Navigation vers https://bedeo.cnam.fr/public/cursus/view/{code}
Extraction XPath du schéma de Cursus (#cursus_schema)
Récupération:
- Années: Structure d'études
- Unités: Codes, noms, crédits par année
- Métadonnées: Objectifs, audience accessible
Mise en cache 24h par défaut

Level 2: Détails des Unités (requis au niveau 1 + navigation par unité)

Pour chaque unité, navigation vers https://bedeo.cnam.fr/public/unite/view/{code}
Extraction détaillée:
- Présentation: Accès audience, objectifs spécifiques
- Contenu: Description du contenu pédagogique
- Bibliographie: Références et ressources
Concurrence contrôlée: 2 requêtes simultanées max + délais entre batches
Dégradation gracieuse: Retourne Level 1 si Level 2 échoue

📡 API REST

Endpoint principal

GET /api/cursus/<code>

Exemples de requêtes:

# Cursus basic (Level 1 avec cache)
curl "http://localhost:8787/api/cursus/CYC9101A"

# Enrichissement Level 2 (peut être long)
curl "http://localhost:8787/api/cursus/CYC9101A?enrich=true"

# Forcer un refresh (invalidation de cache) — REQUIERT une api-key valide
# Sans api-key la requête `?force=true` est ignorée et le cache est préservé.
curl "http://localhost:8787/api/cursus/CYC9101A?api-key=cleartext&force=true"

Paramètres de requête

Paramètre	Type	Description
`force`	boolean	Demander un scraping frais et invalider le cache uniquement si une `api-key` valide est fournie (sinon le paramètre est ignoré).
`timeout`	number	Timeout personnalisé en millisecondes (défaut: 30000)
`enrich`	boolean	Récupérer Level 2 (détails complets des unités)
`api-key`	string	Mot de passe en clair pour bypass cache + invalidation

Format de réponse

{
  "success": true,
  "data": {
    "name": "Titre du Cursus",
    "code": "CYC9101A",
    "audience_access": "Tout public",
    "objectives": "Description des objectifs",
    "EU": [
      {
        "year": "1",
        "units": [
          {
            "code": "UTC501",
            "name": "Unité 1",
            "credits": 6,
            "audience_access": "...",
            "objectives": "...",
            "content": "...",
            "bibliography": [
              { "title": "Livre", "author": "Auteur" }
            ]
          }
        ]
      }
    ]
  },
  "cached": false,
  "scrapedAt": "2026-02-10T18:20:00Z"
}

Suppression du cache

DELETE /api/cursus/<code>/cache

🔐 Sécurité

Validation de mot de passe

Format: Hashes SHA512-crypt (OpenSSL openss passwd -6)
Stockage: Variable d'env SCRAPER_CACHE_OVERRIDE
Exemple de hash: $6$CY9bJUwYHGVpqnJx$Yz...

Génération de hash:

openssl passwd -6
# Entrer le mot de passe et copier le hash résultant

Gestion du cache

TTL par défaut: 30 jours (configurable) via la variable d'environnement SCRAPER_CACHE_TTL
Invalidation: Via password-protected endpoint (recommandé : utiliser api-key + force=true pour invalider)
Override forcé: Requiert désormais une api-key valide. Les requêtes avec ?force=true sans api-key ne provoqueront pas d'invalidation du cache (sécurité renforcée).

Remarque: lorsqu'un enrichissement Level 2 (?enrich=true) réussit, le résultat enrichi est sauvegardé en cache — les requêtes suivantes peuvent donc retourner des données enrichies même sans ?enrich=true.

📦 Installation et démarrage

Prérequis

Node.js 24+
Yarn 4+
Compte Cloudflare (pour production)

Installation

# Installer les dépendances
yarn install

# Générer les types Cloudflare
cd apps/cloudflare-worker
yarn cf-typegen:env

Développement

# Démarrer l'environnement complet (client + worker)
yarn dev:env

# Frontend: http://localhost:5173
# Worker: http://localhost:8787

Tests

cd apps/cloudflare-worker
yarn test --run          # Test une fois
yarn test                # Mode watch

✅ État du projet

Phase 1 - Level 1 Scraping ✅ Complétée

Extraction XPath de Cursus
Cache KV avec TTL
Routes API GET/DELETE
46 tests unitaires validés

Phase 2 - Level 2 Scraping ✅ Complétée

Parsing détails unités (préentation, contenu, bibliographie)
Concurrence contrôlée (2 max)
Dégradation gracieuse
53 tests totaux validés

Phase 3 - Contrôle de Cache 🔄 En cours

Import sha512crypt-node
Validation password SHA512-crypt
Query params ?enrich=true et ?api-key=xxx
Invalidation de cache sécurisée
Tests d'intégration avec bedeo.cnam.fr réel
UI React pour recherche de Cursus
Optimisation pour limite 30s

Phase 4+ - Production 🔄 En cours

🧪 Tests

Le projet utilise Vitest avec le pool @cloudflare/vitest-pool-workers pour tester dans l'environnement Cloudflare.

# Tests existants (53 total):
✓ cnam-scraper.test.ts     (20 tests - unitaires)
✓ cursus-routes.test.ts (26 tests - contrats API)
✓ unit-parser.test.ts       (7 tests - Level 2 parsing)

🚀 Prochaines étapes

Tests réels: Valider sur bedeo.cnam.fr avec vrais codes de Cursuss
Optimisation timeout: Gérer Level 2 complet malgré limite 30s
Frontend: Composants React pour recherche et affichage
Déploiement: Publication sur Cloudflare Workers
Monitoring: Logs et métriques

📝 Variables d'environnement

# Cloudflare
CLOUDFLARE_BACKEND="http://localhost:8787"

# CNAM
CNAM_FORMATION_CODE="CYC9101A" # Code de formation pour les tests (ex: CYC9101A, CYC9202B, etc)
CNAM_BEDEO_URL="https://bedeo.cnam.fr"
CNAM_BEDEO_CURSUS_PATH="public/cursus/view/"
CNAM_BEDEO_UNITE_VIEW_PATH="/public/unite/view/"

# Performance
SCRAPER_CACHE_TTL=2592000 # 30 jours en secondes

# Sécurité
SCRAPER_CACHE_OVERRIDE="$6$..."  # Hash SHA512-crypt
CORS_ORIGIN="http://localhost:5173"

📄 Licence

🤝 Contribution

Les contributions sont bienvenues ! Veuillez:

Créer une branche feature
Écrire des tests
Valider avec yarn test
Soumettre une PR

Dernière mise à jour: 10 février 2026

Name		Name	Last commit message	Last commit date
Latest commit History 112 Commits
.github/workflows		.github/workflows
_sensitive_datas		_sensitive_datas
apps		apps
examples		examples
libs		libs
.gitignore		.gitignore
.gitmodules		.gitmodules
.yarnrc.yml		.yarnrc.yml
ANALYSIS.md		ANALYSIS.md
LICENSE.md		LICENSE.md
README.md		README.md
build-reproductible-dev.sh		build-reproductible-dev.sh
cnam-simple.code-workspace		cnam-simple.code-workspace
inject-fonts.sh		inject-fonts.sh
package-lock.json		package-lock.json
package.json		package.json
turbo.json		turbo.json
yarn.lock		yarn.lock

Folders and files

Latest commit

History

Repository files navigation

CNAM+ Simple - Cursus Web Scraper

📋 Vue d'ensemble

🎯 Objectifs du projet

Note sur le déploiement et les limitations du plan Cloudflare ⚠️

🏗️ Architecture

🔧 Stack technique

Frontend (Client)

Backend (Worker)

Dépendances critiques

🔍 Processus de scraping

Level 1: Structure de Cursus (5-10s)

Level 2: Détails des Unités (requis au niveau 1 + navigation par unité)

📡 API REST

Endpoint principal

Paramètres de requête

Format de réponse

Suppression du cache

🔐 Sécurité

Validation de mot de passe

Gestion du cache

📦 Installation et démarrage

Prérequis

Installation

Développement

Tests

✅ État du projet

Phase 1 - Level 1 Scraping ✅ Complétée

Phase 2 - Level 2 Scraping ✅ Complétée

Phase 3 - Contrôle de Cache 🔄 En cours

Phase 4+ - Production 🔄 En cours

🧪 Tests

🚀 Prochaines étapes

📝 Variables d'environnement

📄 Licence

🤝 Contribution

About

Resources

License

Uh oh!

Stars

Watchers

Forks

Releases

Packages 0

Uh oh!

Contributors

Uh oh!

Languages

Packages