TaskingAI 是一个面向 基于LLM的代理开发和部署 的BaaS（后端即服务）平台。它统一了数百个LLM模型的集成，并提供直观的用户界面来管理您的LLM应用程序功能模块，包括工具、RAG系统、助手、对话历史等。

1. 多合一LLM平台：通过统一API访问数百种AI模型。
2. 丰富的增强功能：使用数百个可自定义的内置工具和高级检索增强生成(RAG)系统增强LLM代理性能。
3. BaaS启发的工作流：分离AI逻辑（服务器端）和产品开发（客户端），提供清晰的路径，从基于控制台的原型设计到使用RESTful API和客户端SDK的可扩展解决方案。
4. 一键部署：一键将您的AI代理部署到生产阶段，并轻松扩展它们。让TaskingAI处理其余工作。
5. 异步高效：利用Python FastAPI的异步功能进行高性能并发计算，增强应用程序的响应速度和可扩展性。
6. 直观的UI控制台：简化项目管理并允许在控制台内进行工作流测试。

模型：TaskingAI 连接了来自不同提供商的数百个LLM，包括OpenAI，Anthropic等。我们还允许用户通过Ollama，LM Studio和Local AI集成本地主机模型。

插件：TaskingAI支持广泛的内置插件来增强您的AI代理，包括Google搜索、网站阅读器、股票市场检索等。用户还可以创建自定义工具以满足特定需求。

LangChain 是一个用于LLM应用程序开发的工具框架，但它面临实际限制：

• 无状态性：依赖客户端或外部服务进行数据管理。
• 可扩展性挑战：无状态性影响跨会话的一致数据处理。
• 外部依赖性：依赖外部资源如模型SDK和向量存储。

OpenAI的Assistant API 在提供类似GPT的功能方面表现出色，但也有自身限制：

• 绑定功能：集成如工具和检索绑定位于每个助手，不适用于多租户应用程序。
• 专有限制：限于OpenAI模型，不适合多种需求。
• 自定义限制：用户不能自定义代理配置如内存和检索系统。

• 支持有状态和无状态使用：无论是跟踪和管理消息历史和代理对话会话，还是只进行无状态对话完成请求，TaskingAI都能覆盖。
• 解耦的模块化管理：将工具、RAG系统、语言模型的管理从代理中解耦出来，允许自由组合这些模块以构建强大的AI代理。
• 多租户支持：TaskingAI 支持开发后的快速部署，并可用于多租户场景。无需担心云服务，只需专注于AI代理开发。
• 统一API：TaskingAI 提供所有模块的统一API，包括工具、RAG系统、语言模型等。超容易管理和更改AI代理的配置。

• 互动应用演示
• 企业生产力AI 代理
• 面向商业的多租户AI本地应用

如果你发现它有用，请给我们一个 免费星标🌟 😇

一种启动自托管TaskingAI社区版的简单方式是通过 Docker。

• 在您的机器上安装Docker和Docker Compose。
• 安装Git以克隆存储库。
• Python环境（Python 3.8以上）用于运行客户端SDK。

首先，从GitHub上克隆TaskingAI（社区版）仓库。

git clone https://github.com/taskingai/taskingai.git
cd taskingai

在克隆的仓库内，进入docker目录并使用Docker Compose启动服务。

cd docker

1. 将 .env.example 复制为 .env：

   cp .env.example .env

2. 编辑 .env 文件： 在你喜欢的文本编辑器中打开 .env 文件，并更新必要的配置。确保所有必需的环境变量都正确设置。

3. 启动 Docker Compose： 执行以下命令来启动所有服务：

   docker-compose -p taskingai --env-file .env up -d

服务启动后，通过浏览器访问 http://localhost:8080 地址来访问 TaskingAI 控制台。默认的用户名和密码是 admin 和 TaskingAI321。

如果您已经安装了TaskingAI的早期版本，并希望升级到最新版本，首先更新存储库。

git pull origin master

然后停止当前的docker服务，通过拉取最新镜像升级到最新版本，最后重新启动服务。

cd docker
docker-compose -p taskingai down
docker-compose -p taskingai pull
docker-compose -p taskingai --env-file .env up -d

不用担心数据丢失；如果有需要，您的数据将自动迁移到最新版本的架构。

点击上面的图片查看TaskingAI控制台演示视频。

控制台启动后，您可以使用TaskingAI客户端SDK以编程方式与TaskingAI服务器进行交互。

确保您已安装Python 3.8或更高版本，并设置虚拟环境（可选但推荐）。

使用pip安装TaskingAI Python客户端SDK。

pip install taskingai

这是一个客户端代码示例：

import taskingai
taskingai.init(api_key='YOUR_API_KEY', host='http://localhost:8080')

# 创建一个新的助手
assistant = taskingai.assistant.create_assistant(
    model_id="YOUR_MODEL_ID",
    memory="naive",
)

# 创建一个新的聊天
chat = taskingai.assistant.create_chat(
    assistant_id=assistant.assistant_id,
)

# 发送用户消息
taskingai.assistant.create_message(
    assistant_id=assistant.assistant_id,
    chat_id=chat.chat_id,
    text="Hello!",
)

# 生成助手响应
assistant_message = taskingai.assistant.generate_message(
    assistant_id=assistant.assistant_id,
    chat_id=chat.chat_id,
)

print(assistant_message)

请注意，YOUR_API_KEY 和 YOUR_MODEL_ID 应替换为您在控制台中创建的实际API密钥和聊天完成模型ID。

您可以在 文档中了解更多。

• 文档
• API参考
• 联系我们

请参阅我们的 贡献指南 了解如何为项目做出贡献。

TaskingAI 在特定的 TaskingAI开源许可证下发布。通过为该项目做出贡献，您同意遵守其条款。

有关支持, 请参阅我们的 文档 或通过 support@tasking.ai 联系我们。