lab done

.gitignore

@@ -0,0 +1,15 @@
+.DS_Store
+
+.idea/
+*.iml
+
+.gradle/
+build/
+bin/
+
+.venv/
+venv/
+__pycache__/
+*.pyc
+
+*.log

Makefile

@@ -0,0 +1,11 @@
+run_parallel:
+	docker compose up --build
+
+run_parallel_optimized:
+	docker compose -f docker-compose-optimized.yml up --build
+
+run_serial:
+	docker compose -f docker-compose-serial.yml up --build
+
+run_serial_optimized:
+	docker compose -f docker-compose-serial-optimized.yml up --build

README.md

@@ -1,3 +1,4 @@
+[![Review Assignment Due Date](https://classroom.github.com/assets/deadline-readme-button-22041afd0340ce965d47ae6ef1cefeee28c7c493a6346c4f15d667ab976d596c.svg)](https://classroom.github.com/a/QODoQuhO)
 # Распределенная обработка текстовых данных с использованием брокера сообщений
 
 ## Цель задания:
@@ -24,15 +25,15 @@ RabbitMQ --- прост в развёртывании, понятная моде
 * Сортировка предложений по длине (в символах) и возврат отсортированного списка.
 
 ### Структура системы (компоненты)
-1. Producer / Splitter 
+1. SerialProducer / Splitter 
    * Читает корпус, разбивает на секции (например, по параграфам, по N предложений или по байтам). 
    * Отправляет задания в очередь/exchange (сообщения с id задания и секцией текста).
 
-2. Worker (несколько экземпляров)
+2. SerialWorker (несколько экземпляров)
    * Подписывается на очередь задач. 
    * Обрабатывает секцию и отправляет результат в очередь результатов/на агрегатор.
 
-3. Aggregator / Collector
+3. Aggregator / SerialCollector
    * Получает частичные результаты от всех воркеров. 
    * Агрегирует: суммирует word counts, объединяет топ-N (merge топов), усредняет/агрегирует тональность, собирает модифицированный текст/заменённые имена (если нужно), объединяет отсортированные предложения (опционально — сохраняет per-section).
 

docker-compose-optimized.yml

@@ -0,0 +1,110 @@
+services:
+  java_producer:
+    build:
+      context: java_prodcuer
+      dockerfile: Dockerfile
+    ports:
+      - "8000:8000"
+    depends_on:
+      - consumer_1
+      - rabbitmq
+    command: ["sh", "-c", "sleep 5 && java -Xmx1g -jar app.jar"]
+
+  consumer_1:
+    build:
+      context: python_consumer
+      dockerfile: Dockerfile.optimized
+    ports:
+      - "8001:8001"
+    depends_on:
+      - aggregation_consumer
+      - rabbitmq
+    environment:
+      PYTHONPATH: "./"
+    volumes:
+      - shared_results:/app/results
+    command: ["sh", "-c", "sleep 5 && python parallel_consumer/parallel/parallel.py"]
+
+  consumer_2:
+    build:
+      context: python_consumer
+      dockerfile: Dockerfile.optimized
+    ports:
+      - "8002:8002"
+    depends_on:
+      - consumer_1
+      - rabbitmq
+      - aggregation_consumer
+    environment:
+      PYTHONPATH: "./"
+    volumes:
+      - shared_results:/app/results
+    command: ["sh", "-c", "sleep 5 && python parallel_consumer/parallel/parallel.py"]
+
+  consumer_3:
+    build:
+      context: python_consumer
+      dockerfile: Dockerfile.optimized
+    ports:
+      - "8003:8003"
+    depends_on:
+      - consumer_2
+      - rabbitmq
+      - aggregation_consumer
+    environment:
+      PYTHONPATH: "./"
+    volumes:
+      - shared_results:/app/results
+    command: ["sh", "-c", "sleep 5 && python parallel_consumer/parallel/parallel.py"]
+
+  consumer_4:
+    build:
+      context: python_consumer
+      dockerfile: Dockerfile.optimized
+    ports:
+      - "8004:8004"
+    depends_on:
+      - consumer_3
+      - rabbitmq
+      - aggregation_consumer
+    environment:
+      PYTHONPATH: "./"
+    volumes:
+      - shared_results:/app/results
+    command: ["sh", "-c", "sleep 5 && python parallel_consumer/parallel/parallel.py"]
+
+  aggregation_consumer:
+    build:
+      context: python_consumer
+      dockerfile: Dockerfile
+    ports:
+      - "8005:8005"
+    depends_on:
+      - rabbitmq
+    environment:
+      PYTHONPATH: "./"
+    volumes:
+      - shared_results:/app/results
+    command: ["sh", "-c", "sleep 5 && python aggregation_consumer/aggregation/aggregation.py"]
+
+  rabbitmq:
+    image: rabbitmq:3.13-management
+    container_name: rabbitmq
+    ports:
+      - "5672:5672"
+      - "15672:15672"
+    environment:
+      RABBITMQ_DEFAULT_USER: guest
+      RABBITMQ_DEFAULT_PASS: guest
+    volumes:
+      - rabbitmq_data:/var/lib/rabbitmq
+      - ./rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf
+    restart: unless-stopped
+
+volumes:
+  rabbitmq_data:
+  shared_results:
+
+networks:
+  appnet:
+    driver: bridge

docker-compose-serial-optimized.yml

@@ -0,0 +1,62 @@
+services:
+  java_producer:
+    build:
+      context: java_prodcuer
+      dockerfile: Dockerfile
+    ports:
+      - "8000:8000"
+    depends_on:
+      - consumer_1
+      - rabbitmq
+    command: ["sh", "-c", "sleep 5 && java -jar app.jar"]
+
+  consumer_1:
+    build:
+      context: python_consumer
+      dockerfile: Dockerfile.optimized
+    ports:
+      - "8001:8001"
+    depends_on:
+      - aggregation_consumer
+      - rabbitmq
+    environment:
+      PYTHONPATH: "./"
+    volumes:
+      - shared_results:/app/results
+    command: ["sh", "-c", "sleep 5 && python serial_consumer/serial/serial.py"]
+
+  aggregation_consumer:
+    build:
+      context: python_consumer
+      dockerfile: Dockerfile
+    ports:
+      - "8005:8005"
+    depends_on:
+      - rabbitmq
+    environment:
+      PYTHONPATH: "./"
+    volumes:
+      - shared_results:/app/results
+    command: ["sh", "-c", "sleep 5 && python aggregation_consumer/aggregation/aggregation.py"]
+
+  rabbitmq:
+    image: rabbitmq:3.13-management
+    container_name: rabbitmq
+    ports:
+      - "5672:5672"
+      - "15672:15672"
+    environment:
+      RABBITMQ_DEFAULT_USER: guest
+      RABBITMQ_DEFAULT_PASS: guest
+    volumes:
+      - rabbitmq_data:/var/lib/rabbitmq
+      - ./rabbitmq.conf:/etc/rabbitmq/rabbitmq.conf
+    restart: unless-stopped
+
+volumes:
+  rabbitmq_data:
+  shared_results:
+
+networks:
+  appnet:
+    driver: bridge