Skip to content

Conversation

@lodos2005
Copy link

Merhaba herkese,

Projede sadece ollama değil lm studio gibi tooları da kullanmak için LiteLLM desteğini ekleyerek provider esnekliğini artırmayı amaçladım. Ayrıca artık sadece Ollama ile sınırlı kalmadan, OpenAI uyumlu API sağlayan (LiteLLM, LM Studio vb.) diğer servisleri embedding işlemleri için kullanılabilir hale getirdim.

@dogukanoksuz
Copy link
Member

LiteLLM desteğini eklediniz ancak streaming response desteği eklenmemiş görünüyor. Streaming responseların çalıştığını doğrular mısınız? Ayrıca eklediğiniz provider ile TOON formatında tool çağrıları vb. gibi ek özelliklerimiz çalışıyor mu?

Bunların implementasyonunun düzgün şekilde ilerlediğini doğrularsanız PR'ı merge edebiliriz.

@lodos2005

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants