Merge pull request #23 from baloise/main

PR for release build

Author: robbizbal

.dockerignore

@@ -1,2 +1,14 @@
 poetry.lock
-.install.stamp
+.install.stamp
+.venv
+dist
+.vscode
+.github
+.git
+.gitignore
+tests
+.env
+mypi.ini
+README.md
+sample_text.txt
+yoyonmaskr.ipynb

Dockerfile

@@ -5,12 +5,17 @@ LABEL maintainer="culmat, trichie, robbizbal" \
       org.opencontainers.image.description="Yo-Yo-Maskr application Docker image" \
       version="0.1.0"
 
+# expose port
+EXPOSE 8000
+
 # set poetry environment variables
 ARG POETRY_FLAGS="--only main"
+ARG LOAD_NER_MODELS="False"
 
 # set default environment variables
 ENV OLLAMA_BASE_URL=http://localhost:11434 \
     OLLAMA_MODEL=llama3.2:latest \
+    DEBIAN_FRONTEND=noninteractive \
     HTTPX_CLIENT_VERIFY=
 
 # add app src
@@ -20,7 +25,7 @@ COPY . /app/
 WORKDIR /app
 
 # set script permissions
-RUN chmod +x entrypoint.sh setup.sh
+RUN chmod +x entrypoint.sh docker_setup.sh
 
 RUN apt -y update \
     && apt install -y make \
@@ -37,16 +42,16 @@ RUN chgrp -R 0 /app && chmod -R g+rwX /app
 # switch to user
 USER anon
 
+# set workdir
+WORKDIR /app
+
 RUN python3 -m pip install --upgrade pip \
     && python3 -m pip install pipx \
     && python3 -m pipx ensurepath \
     && python3 -m pipx completions
 
 # run app setup script
-RUN "./setup.sh"
-
-# expose port
-EXPOSE 8000
+RUN "./docker_setup.sh"
 
 # run app
 ENTRYPOINT ["/app/entrypoint.sh"]

Makefile

@@ -6,13 +6,14 @@ INSTALL_STAMP := .install.stamp
 .DEFAULT_GOAL := help
 
 # Declare phony targets
-.PHONY: help install clean lint format test cleaner run dev
+.PHONY: help install clean lint format test cleaner run dev loadModels
 
 # Help target to display available commands
 help:
 	@echo "Please use 'make <target>' where <target> is one of:"
 	@echo ""
 	@echo " install   - Install packages and prepare environment"
+	@echo " loadModels- load spacy models"
 	@echo " clean     - Remove all temporary files"
 	@echo " cleaner   - Remove all temporary files and the .venv folder"
 	@echo " lint      - Run the code linters"
@@ -63,4 +64,6 @@ run: $(INSTALL_STAMP)
 #	$(POETRY) run gunicorn src.app:app --workers 4 --worker-class uvicorn.workers.UvicornWorker
 	$(POETRY) run uvicorn src.app:app --host 0.0.0.0 --port 8000
 
+loadModels: $(INSTALL_STAMP)
+	$(POETRY) run python src/utils/ano_spacy.py loadModels
 

README.md

@@ -7,7 +7,10 @@ A reversible anonymisation service for us all
 ## Setup development environment
 
 ```
-./setup.sh
+python3 -m pip install pipx
+pipx install poetry
+pipx ensurepath
+make install
 ```
 ## Run
 

docker_setup.sh

@@ -0,0 +1,10 @@
+#!/bin/bash
+export PATH="$HOME/.local/bin:$PATH"
+pipx install poetry
+pipx ensurepath
+. ~/.bashrc
+make install
+if [ "$LOAD_NER_MODELS" == "True" ]; then
+    echo "Loading NER models"
+    make loadModels
+fi

pyproject.toml

@@ -28,6 +28,7 @@ tqdm = "^4.66.6"
 dill = "^0.3.9"
 spacy ="^3.8"
 presidio_analyzer="^2.2"
+pydantic = "^2.9.2"
 
 [tool.poetry.group.dev.dependencies]
 pytest = "^6.0"
@@ -52,5 +53,6 @@ testpaths = [
 filterwarnings = [
     "error",
     'ignore:ast.* is deprecated:DeprecationWarning',
+    'ignore:PluggyTeardownRaisedWarning',
 ]
 

sample_text.txt

@@ -1,7 +1,15 @@
-Es war ein kühler Herbstmorgen, als Marie Müller mit ihrem Bruder Thomas in Hamburg auf den Zug nach Berlin wartete. Dort wollten sie ihre Freunde Anna Schmidt und Lukas Hoffmann treffen, die gerade aus München zurückgekehrt waren. Während der Reise erzählte Marie von ihrem letzten Urlaub in Italien, wo sie in Rom einen alten Schulfreund namens Peter Lehmann getroffen hatte. Peter wohnte mittlerweile in der Nähe von Mailand und arbeitete für eine Firma in Venedig. Während der Fahrt diskutierten sie lange über Gott und die Welt, ob Berliner jetzt Krapfen oder Pfannkuchen heissen, ob Wilhelm Buschs Max und Moritz auch heute noch aktuelle Werte vermittelt und ob Peters Firma nur in Italien tätig ist.
+Es war ein kühler Herbstmorgen, als Marie Müller mit ihrem Bruder Thomas in Hamburg auf den Zug nach Berlin wartete. Dort wollten sie ihre Freunde Anna Schmidt und Lukas Hoffmann treffen, die gerade aus München zurückgekehrt waren. Während der Reise erzählte Marie von ihrem letzten Urlaub in Italien, wo sie in Rom einen alten Schulfreund namens Peter Lehmann getroffen hatte. Peter wohnte mittlerweile in der Nähe von Mailand und arbeitete für eine Firma in Venedig. Während der Fahrt diskutierten sie lange über Gott und die Welt, ob Berliner jetzt Krapfen oder Pfannkuchen heißen, ob Wilhelm Buschs Max und Moritz auch heute noch aktuelle Werte vermittelt und ob Peters Firma nur in Italien tätig ist. Peters Geschäftsadresse lautet Via Roma 10, 20121 Mailand, Italien, und seine geschäftliche E-Mail ist peter.lehmann@firma.it.
 
-In Berlin angekommen, holte sie ihr Onkel Karl Weber vom Bahnhof ab. Gemeinsam fuhren sie zu seiner Wohnung in der Friedrichstraße 15, wo sie später an einem Abendessen bei Familie Becker in Charlottenburg teilnehmen wollten. Dort kamen auch Karla Fischer, eine ehemalige Klassenkameradin, und Paul König, ein alter Freund aus der Schulzeit, hinzu.
+In Berlin angekommen, holte ihr Onkel Karl Weber vom Bahnhof ab. Gemeinsam fuhren sie zu seiner Wohnung in der Friedrichstraße 15, wo sie später an einem Abendessen bei Familie Becker in der Charlottenburger Straße 32 teilnehmen wollten. Dort kamen auch Karla Fischer, eine ehemalige Klassenkameradin, und Paul König, ein alter Freund aus der Schulzeit, hinzu. Karl hatte eine Telefonnummer, unter der er erreichbar war: +49 30 1234567.
 
-Am nächsten Tag machten sich Marie und Thomas auf den Weg nach Potsdam, um dort den berühmten Park Sanssouci zu besuchen. Unterwegs trafen sie auf einen Reiseleiter namens Andreas Schneider, der ihnen alles über die Geschichte der Stadt und den Park erzählte. Später besuchten sie noch den Kurfürstendamm in Berlin, wo sie zufällig auf Julia Wagner und ihren Bruder Frank trafen, die gerade von einem Ausflug nach Dresden zurückkehrten.
+Am nächsten Tag machten sich Marie und Thomas auf den Weg nach Potsdam, um dort den berühmten Park Sanssouci zu besuchen. Unterwegs trafen sie auf einen Reiseleiter namens Andreas Schneider, der ihnen alles über die Geschichte der Stadt und den Park erzählte. Andreas hatte eine Visitenkarte mit seiner E-Mail-Adresse andreas.schneider@reiseleiter.de und seiner Telefonnummer +49 30 7654321. Später besuchten sie noch den Kurfürstendamm in Berlin, wo sie zufällig auf Julia Wagner und ihren Bruder Frank trafen, die gerade von einem Ausflug nach Dresden zurückkehrten.
 
-Nach einer Woche voller Abenteuer kehrten sie zurück nach Hamburg, wo sie von ihrer Tante Sabine Schmidt und deren Nachbarn Klaus Neumann herzlich begrüßt wurden.
+Nach einer Woche voller Abenteuer kehrten sie zurück nach Hamburg, wo sie von ihrer Tante Sabine Schmidt und deren Nachbarn Klaus Neumann herzlich begrüßt wurden. Sabine lebte in der Seestraße 5 und hatte ein kleines Café namens „Kaffeekultur“ eröffnet. Ihre Kontaktdaten waren sabine.schmidt@kaffeekultur.de und +49 40 12345678.
+
+Matthias Cullmann und Roberto Galvagno machen ein Projekt mit Thomas Reichert. Matthias und Roberto können gut coden, bei Thomas geht es so la la. Matthias hatte seine Kreditkarte bei der Volksbank: 1234 5678 9012 3456, und er hatte 1500 CHF in seinem Konto.
+
+If Spike, Tom, and Jerry are going to New York, they will visit the Fifth Avenue and the Broadway. Jerry will visit Macy's and the Apple Store. Jerry hatte auch eine Notiz mit seiner E-Mail-Adresse jerry.mouse@example.com und seiner Telefonnummer +1 212 555 1234.
+
+Bei der Baloise gibt es Versicherungen für alle Fälle. Der Kontakt ist info@baloise.ch oder +41-58-2858585. Sie können auch direkt Clemens Markstein kontaktieren. Die E-Mail-Adresse von Clemens ist clemens@baloise.ch oder ceo@baloise.com, und seine Natelnummer ist 076 123 4567.
+
+Wenn jemand als Schneider arbeitet, sollte dies nicht getaggt werden. Bei Frau Müller hingegen ist es ein Name und sollte getaggt werden, genauso wie ihre belgische Sozialversicherungsnummer 831205-123-45. Außerdem hat Marie eine Kreditkarte mit der Nummer 4111 1111 1111 1111 und einen Kontostand von 2.500 EUR.

setup.sh

@@ -1,17 +1,37 @@
 import fastapi
 from fastapi.responses import JSONResponse
-from fastapi import Request, routing
+from fastapi import Request
+from enum import Enum
 from pydantic import BaseModel
-from src.utils.llm import llm_find_entities
-from src.utils.replacer import replace_values
+from src.utils.ano_llm import find_entities as llm_find_entities
+from src.utils.ano_spacy import Anon_Spacy
+from src.utils.ano_regex import find_entities as reg_find_entities
 
 router = fastapi.APIRouter()
 
+class BackendType(Enum):
+    LLM = "LLM"
+    NER = "NER"
+    REG = "REG"
+
 class MaskRequest(BaseModel):
     text: str
+    backendType: BackendType
+
+ano = Anon_Spacy()
 
 @router.post("/mask", response_class=JSONResponse, include_in_schema=True)
 async def mask(request: MaskRequest):
-    entities = llm_find_entities(request.text)
-    anontext = replace_values(request.text, entities)
-    return {"original_text": request.text, "llm_entities": entities, "anonymized_text": anontext}
+    
+    match request.backendType:
+        case BackendType.LLM:
+            llm_entities = llm_find_entities(request.text)
+            return {"original_text": request.text, "entities": llm_entities['replace_dict'], "anonymized_text": llm_entities['text']}
+        case BackendType.NER:
+            spacy_entities = ano.find_entities(request.text)
+            return {"original_text": request.text, "entities": spacy_entities['replace_dict'], "anonymized_text": spacy_entities['text']}
+        case BackendType.REG:
+            regex_entities = reg_find_entities(request.text)
+            return {"original_text": request.text, "entities": regex_entities['replace_dict'], "anonymized_text": regex_entities['text']}
+        case _:
+            return {"original_text": "Invalid backend type"}

src/api/mask.py

@@ -24,7 +24,8 @@ document.getElementById('inputForm').addEventListener('submit', function(event)
     .then(text => {
         // Display the response in the textarea
         document.getElementById('responseFieldText').value = inputData; // Format the JSON response
-        document.getElementById('responseFieldDeanonText').value = text.deanonymized_text; // Format the string response
+        document.getElementById('responseFieldDeanonText').value = JSON.stringify(text.deanonymized_text, null, 2); // Format the JSON response
+        
     })
     .catch((error) => {
         console.error('Error:', error); // Handle any errors

src/static/scripts/demask.js

@@ -2,6 +2,7 @@ document.getElementById('inputForm').addEventListener('submit', function(event)
     event.preventDefault(); // Prevent the default form submission
 
     const inputData = document.getElementById('inputData').value;
+    const backendType = document.getElementById('backendType').value;
 
     // Use a relative URL for the API endpoint
     const apiEndpoint = '/api/mask'; // Relative URL
@@ -12,7 +13,7 @@ document.getElementById('inputForm').addEventListener('submit', function(event)
         headers: {
             'Content-Type': 'application/json',
         },
-        body: JSON.stringify({ text: inputData }), // Send the input text as JSON
+        body: JSON.stringify({ text: inputData, "backendType": backendType }), // Send the input text as JSON
     })
     .then(response => {
         if (!response.ok) {
@@ -23,12 +24,12 @@ document.getElementById('inputForm').addEventListener('submit', function(event)
     .then(text => {
         // Display the response in the textarea
         document.getElementById('responseFieldText').value = JSON.stringify(text.original_text, null, 2); // Format the JSON response
-        document.getElementById('responseFieldEntities').value = JSON.stringify(text.llm_entities, null, 2); // Format the JSON response
-        document.getElementById('responseFieldAnonText').value = text.anonymized_text; // Format the string response
+        document.getElementById('responseFieldEntities').value = JSON.stringify(text.entities, null, 2); // Format the JSON response
+        document.getElementById('responseFieldAnonText').value = JSON.stringify(text.anonymized_text, null, 2); // Format the string response
     })
     .catch((error) => {
         console.error('Error:', error); // Handle any errors
         // Optionally display the error in the textarea
-        document.getElementById('responseFieldText').value = 'Error: ' + error.message;
+        document.getElementById('responseFieldText').value = 'Error: ' + error.message + '\nText: ' + inputData;
     });
 });

src/static/scripts/mask.js

@@ -23,6 +23,7 @@ <h1>YoYo MaskЯ</h1>
             <button class="square-button"onclick="window.location.href='/mask'">Mask</button>
             <button class="square-button" onclick="window.location.href='/demask'">DeMask</button>
         </div>
+        <br/>
     </main>
 
     <footer>
@@ -33,9 +34,5 @@ <h1>YoYo MaskЯ</h1>
         </div>
     </footer>
 
-    <!-- Link to the external JavaScript file -->
-    <script src="/static/scripts/mask.js"></script>
-    <script src="/static/scripts/fileLoader.js"></script>
-    <script src="/static/scripts/mask_downloader.js"></script>
 </body>
 </html>

src/templates/html/landing.html

@@ -27,11 +27,18 @@ <h3>Input</h3>
             </div>
             <div class="flex-item">
                 <form id="inputForm">
-                    <textarea type="text" id="inputData" placeholder="Enter text to anonymize or load text from a file" required></textarea>
+                    <textarea type="text" id="inputData" placeholder="Enter text to anonymize or load text from a file" required>Hallo Velo und Roberto in Basel. Nice email roberto@roberto.ch</textarea>
                     <div class="flex-container">
                         <div class="flex-item">
                             <input type="submit" value="Submit">
                         </div>
+                        <div class="flex-item">
+                            <select id="backendType" name="backendType" required>
+                                <option value="REG">REG</option>
+                                <option value="LLM">LLM</option>
+                                <option value="NER">NER</option>
+                            </select>
+                        </div>
                     </div>  
                 </form>
             </div>