Auto commit: 2024-12-05 21:43:01

Author: blackwood168

.github/workflows/monitor_changes.yml

@@ -40,10 +40,11 @@ jobs:
         changes=$(cat changes.txt | tr '\n' ', ' | sed 's/,$//')
         echo "files_changed=$changes" >> $GITHUB_OUTPUT
 
-    - name: Install flake8
+    - name: Install dependencies
       run: |
         python -m pip install --upgrade pip
-        pip install flake8
+        pip install -r requirements.txt
+        pip install flake8 pytest torch torchvision
 
     - name: Run flake8
       id: flake8
@@ -57,8 +58,6 @@ jobs:
           "models/unet_fft.py"
           "xrd_transformer.py"
           "model.py"
-          "datasets/train.py"
-          "datasets/test.py"
         )
         existing_files=()
         for file in "${files_to_lint[@]}"; do
@@ -70,13 +69,20 @@ jobs:
         if [ ${#existing_files[@]} -eq 0 ]; then
           echo "lint_results=No Python files found to lint" >> $GITHUB_OUTPUT
         else
-          flake8_output=$(flake8 "${existing_files[@]}" || true)
+          # Only check for bugs (E9**, F***) and ignore style issues
+          flake8_output=$(flake8 --select=E9,F "${existing_files[@]}" || true)
           echo "$flake8_output" > flake8_output.txt
           lint_results=$(head -n 5 flake8_output.txt | sed ':a;N;$!ba;s/\n/%0A/g' | sed 's/"/\\"/g')
           echo "lint_results=$lint_results" >> $GITHUB_OUTPUT
         fi
 
-
+    - name: Run basic tests
+      id: basic_tests
+      run: |
+        test_output=$(python github_tests.py)
+        echo "test_results<<EOF" >> $GITHUB_OUTPUT
+        echo "$test_output" >> $GITHUB_OUTPUT
+        echo "EOF" >> $GITHUB_OUTPUT
 
     - name: Send Telegram Notification
       if: always()
@@ -85,16 +91,19 @@ jobs:
         to: ${{ secrets.TELEGRAM_CHAT_ID }}
         token: ${{ secrets.TELEGRAM_BOT_TOKEN }}
         message: |
-          🔄 Новые изменения обнаружены!
-          
-          Сообщение коммита: ${{ steps.commit_details.outputs.message || 'Нет сообщения' }}
-          Автор: ${{ steps.commit_details.outputs.author || 'Неизвестный автор' }}
-          
-          Измененные файлы:
-          ${{ steps.check_changes.outputs.files_changed || 'Нет измененных файлов' }}
-          
-          Репозиторий: ${{ github.repository }}
-          Ссылка: ${{ github.server_url }}/${{ github.repository }}/commit/${{ github.sha }}
-          
-          ⚠️ Результаты линтинга:
-          ${{ steps.flake8.outputs.lint_results || 'Нет замечаний линтера' }}
+            🔄 Новые изменения обнаружены!
+            
+            Сообщение коммита: ${{ steps.commit_details.outputs.message || 'Нет сообщения' }}
+            Автор: ${{ steps.commit_details.outputs.author || 'Неизвестный автор' }}
+            
+            Измененные файлы:
+            ${{ steps.check_changes.outputs.files_changed || 'Нет измененных файлов' }}
+            
+            Репозиторий: ${{ github.repository }}
+            Ссылка: ${{ github.server_url }}/${{ github.repository }}/commit/${{ github.sha }}
+            
+            ⚠️ Результаты линтинга:
+            ${{ steps.flake8.outputs.lint_results || 'Нет замечаний линтера' }}
+            
+            🧪 Результаты тестов:
+            ${{ steps.basic_tests.outputs.test_results || 'Тесты не были выполнены' }}

github_tests.py

@@ -0,0 +1,69 @@
+#!/usr/bin/env python3
+"""Basic tests for CI/CD pipeline."""
+
+import yaml
+import torch
+from pathlib import Path
+from test import load_config
+from models.unet_fft import UNet_FFT
+from models.xrd_transformer import XRDTransformer
+
+def test_config_loading():
+    """Test if configuration can be loaded properly."""
+    config = load_config('configs/test.yaml')
+    assert isinstance(config, dict), 'Config should be a dictionary'
+    
+    # Test essential config keys
+    required_keys = ['data_path', 'model', 'pipeline', 'dataloader']
+    for key in required_keys:
+        assert key in config, f'Config missing required key: {key}'
+    
+    return "Тест загрузки конфигурации прошел успешно ✅"
+
+def test_model_initialization():
+    """Test if models can be initialized properly."""
+    # Test UNet_FFT
+    unet = UNet_FFT(2)
+    assert isinstance(unet, torch.nn.Module), 'UNet_FFT should be a torch.nn.Module'
+    
+    # Test XRDTransformer
+    transformer = XRDTransformer(
+        input_shape=(26, 18, 23),
+        embed_dim=128,
+        depth=5,
+        num_heads=4,
+        mlp_ratio=4,
+        drop_rate=0.1,
+        attn_drop_rate=0.1,
+        embedding_type='onehot'
+    )
+    assert isinstance(transformer, torch.nn.Module), 'XRDTransformer should be a torch.nn.Module'
+    
+    return "Тест инициализации модели прошел успешно ✅"
+
+def test_model_forward():
+    """Test if models can process data of expected shape."""
+    model = UNet_FFT(2)
+    dummy_input = torch.randn(1, 1, 26, 18, 23)
+    output = model(dummy_input)
+    
+    assert output.shape == dummy_input.shape, 'Output shape should match input shape'
+    assert not torch.isnan(output).any(), 'Output contains NaN values'
+    assert not torch.isinf(output).any(), 'Output contains infinite values'
+    
+    return "Тест проверки прямого прохода модели прошел успешно ✅"
+
+def run_all_tests():
+    """Run all tests and return results."""
+    try:
+        results = []
+        results.append(test_config_loading())
+        results.append(test_model_initialization())
+        results.append(test_model_forward())
+        
+        return "\n".join(results)
+    except Exception as e:
+        return f"❌ Тесты не прошли: {str(e)}"
+
+if __name__ == "__main__":
+    print(run_all_tests())