train_ko_model_with_tsdae

TSDAE를 통한 한국어 언어모델 훈련

install dependencies

conda env create -n tsdae -f environment.yaml

WSL에 CUDA 설치

NVIDIA 공식 가이드(https://docs.nvidia.com/cuda/wsl-user-guide/index.html)에 따라 WSL cuda 설치

이후

export CUDA_HOME=/usr/local/cuda

CUDA_HOME을 설정해줌

WSL bitandbytes

bitandbytes는 리눅스에서만 사용가능

pip install bitsandbytes

WSL에서는

export LD_LIBRARY_PATH=/usr/lib/wsl/lib

LD_LIBRARY_PATH를 추가적으로 설정해야 함