Datenwerft.HRO

Web-Anwendung zur einfachen Erfassung von (Geo-)Daten, die auf Django aufsetzt

Inhalt

Voraussetzungen
Installation
- Anwendung
- Datenbanken
Konfiguration
Initialisierung
Start
Deployment
UML-Klassendiagramme
Hilfe (für Administration und Nutzung)
Cronjobs
PDF-Export mit eigenen Templates
Entwicklung
Linting
Tests
CI/CD
- Ablauf
- GitHub-Actions

Voraussetzungen

Python (>=3.13)
pip
GDAL
PostgreSQL mit der Erweiterung PostGIS
npm
optional Redis
optional für App Toolbox siehe hier

Installation

Anwendung

Git-Repository klonen:

git clone https://github.com/rostock/datenwerft
cd datenwerft

neue virtuelle Python-Umgebung anlegen:

# ohne Projektmanagement durch uv
python3 -m venv .venv

# mit Projektmanagement durch uv
uv venv

benötigte Python-Module (unter anderem Django) installieren via pip:

# ohne uv
source .venv/bin/activate
pip install -r datenwerft/requirements.txt

# mit uv
uv sync

Datenbanken

leere PostgreSQL-Datenbank für die Anwendungsadministration anlegen
leere PostgreSQL-Datenbank für die App GDI.HRO Codelists anlegen
leere PostgreSQL-Datenbank für die App GDI.HRO Metadata anlegen
leere PostgreSQL-Datenbank mit der Erweiterung PostGIS für die App Antragsmanagement anlegen
leere PostgreSQL-Datenbank mit der Erweiterung PostGIS für die App BEMAS anlegen
leere PostgreSQL-Datenbank mit der Erweiterung PostGIS für die App Datenmanagement anlegen
leere PostgreSQL-Datenbank mit der Erweiterung PostGIS für die App FMM anlegen
Datenbankschema in Datenbank für die App Datenmanagement installieren (da keines der Datenmodelle in dieser App von Django verwaltet wird):

psql -h [Datenbankhost] -U [Datenbanknutzer] -d [Datenbankname] -f datenmanagement/sql/schema.sql

Konfiguration

Konfigurationsdatei auf Basis der entsprechenden Vorlage erstellen:

cp datenwerft/secrets.template datenwerft/secrets.py

Konfigurationsdatei datenwerft/secrets.py entsprechend anpassen
Service-Datei für RQ-Worker auf Basis der entsprechenden Vorlage erstellen:

cp rq-worker.service /etc/systemd/system/rq-worker.service

Service-Datei für RQ-Worker entsprechend anpassen

Initialisierung

JavaScript-Module via npm installieren:

npm install

Anwendung initialisieren:

# ohne uv
source .venv/bin/activate
python manage.py migrate --database=antragsmanagement antragsmanagement
python manage.py migrate --database=bemas bemas
python manage.py migrate --database=fmm fmm
python manage.py migrate --database=gdihrocodelists gdihrocodelists
python manage.py migrate --database=gdihrometadata gdihrometadata
python manage.py migrate
python manage.py antragsmanagement_roles_permissions
python manage.py bemas_roles_permissions
python manage.py fmm_roles_permissions
python manage.py gdihrocodelists_roles_permissions
python manage.py gdihrometadata_roles_permissions
python manage.py loaddata --database=gdihrometadata gdihrometadata_initial-data.json

# mit uv
uv run manage.py migrate --database=antragsmanagement antragsmanagement
uv run manage.py migrate --database=bemas bemas
uv run manage.py migrate --database=fmm fmm
uv run manage.py migrate --database=gdihrocodelists gdihrocodelists
uv run manage.py migrate --database=gdihrometadata gdihrometadata
uv run manage.py migrate
uv run manage.py antragsmanagement_roles_permissions
uv run manage.py bemas_roles_permissions
uv run manage.py fmm_roles_permissions
uv run manage.py gdihrocodelists_roles_permissions
uv run manage.py gdihrometadata_roles_permissions
uv run manage.py loaddata --database=gdihrometadata gdihrometadata_initial-data.json

Administrator initialisieren:

# ohne uv
python manage.py createsuperuser

# mit uv
uv run manage.py createsuperuser

statische Dateien initialisieren:

# ohne uv
python manage.py collectstatic -c

# mit uv
uv run manage.py collectstatic -c

Start

Start der Anwendung (zum Testen oder während der Entwicklung):

RQ-Worker starten:

# ohne uv
source .venv/bin/activate
python manage.py rqworker default

# mit uv
uv run manage.py rqworker default

Entwicklungsserver starten:

# ohne uv
python manage.py runserver

# mit uv
uv run manage.py runserver

Deployment

Deployment am Beispiel des Apache HTTP Servers:

Besitzer und Gruppe des Anwendungsverzeichnisses entsprechend des Apache HTTP Servers anpassen:

sudo chown -R wwwrun:www /path/to/datenwerft

RQ-Worker-Service aktivieren und starten:

sudo systemctl daemon-reload
sudo systemctl enable rq-worker.service
sudo systemctl start rq-worker.service

Wenn das Deployment mittels Apache HTTP Server realisiert werden soll, muss dessen Modul mod_wsgi (für Python 3.x) installiert sein, das ein Web Server Gateway Interface (WSGI) für das Hosting von Python-Anwendungen zur Verfügung stellt.
Konfigurationsdatei des Apache HTTP Servers öffnen und in etwa folgenden Inhalt einfügen (in diesem Beispiel nutzt die virtuelle Python-Umgebung einen Python-Interpreter der Version 3.x):

Alias                 /datenwerft/static /path/to/datenwerft/datenwerft/static
Alias                 /datenwerft/uploads /path/to/datenwerft/datenwerft/uploads
WSGIDaemonProcess     datenwerft processes=[Anzahl CPU x 2] threads=[Anzahl GB RAM x 3] connect-timeout=150 deadlock-timeout=300 eviction-timeout=0 graceful-timeout=150 inactivity-timeout=300 queue-timeout=300 request-timeout=300 shutdown-timeout=5 socket-timeout=300 startup-timeout=15 restart-interval=0 python-path=/path/to/datenwerft:/path/to/datenwerft/.venv/lib64/python3.1x/site-packages:/path/to/datenwerft/.venv/lib/python3.1x/site-packages
WSGIProcessGroup      datenwerft
WSGIScriptAlias       /datenwerft /path/to/datenwerft/datenwerft/wsgi.py process-group=datenwerft
WSGIApplicationGroup  %{GLOBAL}

<Directory /path/to/datenwerft/datenwerft>
  <Files wsgi.py>
    Order deny,allow
    Require all granted
  </Files>
</Directory>
<Directory /path/to/datenwerft/static>
  Order deny,allow
  Require all granted
</Directory>
<Directory /path/to/datenwerft/uploads>
  Order deny,allow
  Require all granted
</Directory>

UML-Klassendiagramme

Für die Visualisierung der nachfolgend verlinkten UML-Klassendiagramme kann zum Beispiel dieses Online-Tool genutzt werden.