Transferência de aprendizado na classificação de comentários tóxicos em português

Instalação das bibliotecas

pip install -r ./Scripts/requirements.txt

Execução

Para rodar o classificador com a técnica de vetorização Bag of Words, use o arquivo Scripts/ScriptBagOfWords.ipynb

Para rodar o classificador com a técnica de vetorização Fasttext, use o arquivo Scripts/ScriptFasttext.ipynb

Para rodar o classificador com a técnica de vetorização baseada em transformers que utiliza modelos pré-treinados com fine-tuning, use o arquivo Scripts/PreTrainedModelWithFineTuning.ipynb

Para rodar o classificador com a técnica de vetorização baseada em transformers que utiliza modelos pré-treinados zero-shot, use o arquivo Scripts/PreTrainedModelWithoutFineTuning.ipynb

Obs: Dentro de cada script, é possível selecionar qual divisão e qual base de dados deverá ser utilizada para o treino e teste Obs2: Dentro dos scripts dos modelos pré-treinados, é possível alterar o modelo pré-treinado que estará sendo utilizado: BERTimbau, mBERT e BETO alterando as linhas de importação do tokenizador e do modelo