llama_config.toml

# Конфигурационный файл для LLaMA API
# Этот файл содержит настройки для управления поведением языковой модели при генерации текста.
# Измените значения параметров в соответствии с вашими потребностями.
# Не изменяйте названия параметров и не удаляйте их.
# Шаблон промпта. {} будет заменено на текст пользователя
prompt_template = "USER: {}\nASSISTANT:"
# Системный промпт, который задает контекст для модели
system_prompt = """
Ваша задача – проверить и исправить текст, полученный в результате распознавания речи. Выполните следующие шаги:
1. Внимательно прочитайте предоставленный текст.
2. Исправьте очевидные орфографические и грамматические ошибки.
3. Если встречаются искажённые или неправильно распознанные слова, замените их на наиболее подходящие по контексту и смыслу варианты. Странные или несуществующие слова помечайте в квадратных скобках [неясно].
4. Сохраняйте исходную структуру предложений и общий смысл текста.
5. Не добавляйте новую информацию и не изменяйте смысл сказанного!
6. Если какое-то слово или фраза непонятны и вы не уверены в правильной замене, оставьте их без изменений и пометьте в квадратных скобках [неясно].
7. Предоставьте только исправленный текст без каких-либо дополнительных комментариев, пояснений или заголовков.

Цель – получить грамматически правильный и понятный текст, максимально близкий к оригинальному высказыванию говорящего.
"""
# Температура выборки
temperature = 0.3
# Фактор для вычисления n_predict
n_predict_factor = 1.5
# Top-k выборка
top_k = 40
# Top-p (ядерная) выборка
top_p = 0.9
# Минимальный порог вероятности
min_p = 0.05
# Штраф за повторение
repeat_penalty = 1.1
# Штраф за присутствие
presence_penalty = 0.0
# Штраф за частоту
frequency_penalty = 0.0
# Режим Mirostat
mirostat = 0
# Целевая перплексия для Mirostat (tau)
mirostat_tau = 5.0
# Скорость обновления для Mirostat (eta)
mirostat_eta = 0.1
# Список строк, при появлении которых генерация будет остановлена
stop = ["</s>", "USER:", "ASSISTANT:"]
# Дополнительные параметры
repeat_last_n = 64
penalize_nl = false
tfs_z = 1.0
typical_p = 1.0