异步插件使用体验与改进建议

[DoshideDK]

异步插件使用体验与改进建议

问题描述

当前异步插件的实现方式存在一些可优化之处，主要体现在资源利用效率和用户体验两方面：

1. 模型资源浪费问题：

   • 目前，第二次调用的 LLM 往往只是作为结果的简单传话器
   • 这类任务难度很低，但仍然使用高性能模型进行处理，造成计算资源浪费
   • 例如计算器结果的返回，只需要简单展示数据，无需复杂理解能力

2. 冗余调用流程：

   • 某些返回简单任务完全可以采用更轻量的处理方式
   • 当前每个异步插件都需要二次调用 LLM，增加了响应延迟和系统负载

改进建议

1. 模型灵活配置：

   • 允许开发者为异步插件自定义 LLM 模型配置
   • 对于简单的结果传递任务，可使用更轻量级的模型
   • 为不同复杂度的任务分配适合的计算资源

2. 占位符替换机制：

   • 新增一种"直通式"异步插件开发范式
   • 流程：AI 输出包含特定占位符的响应 → 系统在后台执行任务 → 程序直接用结果替换占位符
   • 适用场景：计算器、简单图像生成等不需要复杂理解的任务

3. 混合模式支持：

   • 保留现有的二次调用机制作为默认选项
   • 新增直通式处理作为可选开发范式或用户配置选项
   • 根据具体任务特性选择最合适的处理模式

权衡考虑

直通式处理虽然高效，但也有一定局限性：

• 无法进行自我纠错
• 不支持连续响应和交互式反馈
• 对于复杂任务可能缺乏足够的适应性
• 无法立刻感知响应结果（例如生图）

因此建议将此机制作为对现有系统的补充，而非替代。