README.md

Работа с Clickhouse

1. Установить Docker Desktop и DBeaver
2. Скачать репозиторий и разархивировать, либо склонировать его себе с помощью git-клиента (рекомендую fork)
3. Перейти в папку clickhouse cd ./clickhouse
4. Запустить контейнер с Clickhouse командой docker-compose up -d
5. Подключиться к Clickhouse с помощью DBeaver:
   • Тип подключения: Clickhouse
   • Хост: localhost
   • База данных: raw_layer
   • Имя пользователя: admin
   • Пароль: admin
6. Выполнить скрипт clickhouse_data.sql для загрузки исходных данных в слой raw_layer
7. Выполнить скрипт clickhouse_lecture.sql по шагам для закрепления материала
8. Остановить и удалить контейнер можно c помощью интерфейса Docker Desktop (вкладка Containers)

Data Quality (Soda Core)

1. Установить Python 3.11
2. Установить необходимые библиотеки Python pip install soda-core==3.0.54 soda-core-postgres==3.0.54
3. Перейти в папку soda-demo cd ./soda-demo
4. Протестировать соединение с Clickhouse командой soda test-connection -d dwh -c configuration.yml
5. Запустить data quality проверки командой soda scan -d dwh -c configuration.yml dwh.yml

Дополнительные ссылки

• Список доступных проверок в Soda Core