Skip to content

建议: 上下文压缩增加保留最后几句对话的功能; 增加压缩输入原文展示; 在保留原文的基础之上, 增加重复压缩功能; #119

Description

@niget

建议描述

大模型都有惯性, 直接把历史对话全部压缩了, 新开的会话可能不能继续按照之前的会话格式;
其次是压缩提示词不同, 压缩效果也不同, 期望可以进行压缩重试

所以期望增加以下优化

  1. 压缩时,保留最近几条对话不加入压缩内容,只压缩之前的对话, 压缩后也从保留的对话作为起始第一句话; 可以自行选择, 保留3条或者5条这样子
  2. 压缩后, 期望有个按钮可以查询压缩结果的输入原文是什么, 用于对比压缩效果
  3. 增加压缩重试功能, 直接将保存的压缩原文重新提交一次, 刷新压缩效果
  4. 将压缩系统提示词在提交的上下文原文末尾, 再复制一份; 这个不算是功能, 但是是我自己的一个使用心得, 在上下文太长时, 一些模型会忘记压缩系统提示词,而会顺着提交的压缩内容继续往后回答, 所以可以将压缩系统提示词在提交的上下文原文末尾, 再复制一份, 确保有效约束大模型执行压缩功能

使用场景

超长对话上下文压缩

补充说明

No response

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions