diff --git a/llama_ros/src/llama.cpp b/llama_ros/src/llama.cpp index 230ae943..778bf054 100644 --- a/llama_ros/src/llama.cpp +++ b/llama_ros/src/llama.cpp @@ -88,6 +88,7 @@ std::string Llama::detokenize(const std::vector &tokens) { void Llama::reset() { + llama_kv_cache_seq_rm(this->ctx, -1, 0, -1); llama_sampling_reset(this->ctx_sampling); this->canceled = false;