建议描述
大模型都有惯性, 直接把历史对话全部压缩了, 新开的会话可能不能继续按照之前的会话格式;
其次是压缩提示词不同, 压缩效果也不同, 期望可以进行压缩重试
所以期望增加以下优化
- 压缩时,保留最近几条对话不加入压缩内容,只压缩之前的对话, 压缩后也从保留的对话作为起始第一句话; 可以自行选择, 保留3条或者5条这样子
- 压缩后, 期望有个按钮可以查询压缩结果的输入原文是什么, 用于对比压缩效果
- 增加压缩重试功能, 直接将保存的压缩原文重新提交一次, 刷新压缩效果
- 将压缩系统提示词在提交的上下文原文末尾, 再复制一份; 这个不算是功能, 但是是我自己的一个使用心得, 在上下文太长时, 一些模型会忘记压缩系统提示词,而会顺着提交的压缩内容继续往后回答, 所以可以将压缩系统提示词在提交的上下文原文末尾, 再复制一份, 确保有效约束大模型执行压缩功能
使用场景
超长对话上下文压缩
补充说明
No response
建议描述
大模型都有惯性, 直接把历史对话全部压缩了, 新开的会话可能不能继续按照之前的会话格式;
其次是压缩提示词不同, 压缩效果也不同, 期望可以进行压缩重试
所以期望增加以下优化
使用场景
超长对话上下文压缩
补充说明
No response