Skip to content

[FEATURE] #1060

@SSShichuanyi

Description

@SSShichuanyi

Feature Description

目前 Astron Agent 在接入云端大模型 API 方面表现得非常稳定,但在一些对延迟要求极高的边缘计算场景中(例如:通过单片机/传感器进行实时状态反馈的智能硬件项目),过度依赖云端 API 会导致严重的网络 I/O 瓶颈和响应卡顿。

建议引入的功能:

  1. 增加对本地轻量化模型(如通过 Ollama, vLLM 或 llama.cpp 运行的模型)的原生适配层。
  2. 提供更精简的端侧通信协议或接口,使 Agent 能够更顺滑地与外部传感器节点进行毫秒级的数据交互,而不需要经过完整的云端鉴权链路。

Expected Behavior

开发者可以通过简单的配置参数,一键切换 Agent 的底层推理引擎至本地局域网的 Ollama 节点,并在硬件交互场景下显著降低延迟。

Additional Context

这对于希望利用 Astron 框架开发 AI 智能可穿戴设备或物联网中控的开发者来说,将是一个巨大的加分项。

Use Case

Is there an existing issue for this?

  • I have searched the existing issues.

Describe the Feature

目前 Astron Agent 在接入云端大模型 API 方面表现得非常稳定,但在一些对延迟要求极高的边缘计算场景中(例如:通过单片机/传感器进行实时状态反馈的智能硬件项目),过度依赖云端 API 会导致严重的网络 I/O 瓶颈和响应卡顿。

建议引入的功能:

  1. 增加对本地轻量化模型(如通过 Ollama, vLLM 或 llama.cpp 运行的模型)的原生适配层。
  2. 提供更精简的端侧通信协议或接口,使 Agent 能够更顺滑地与外部传感器节点进行毫秒级的数据交互,而不需要经过完整的云端鉴权链路。

Expected Behavior

开发者可以通过简单的配置参数,一键切换 Agent 的底层推理引擎至本地局域网的 Ollama 节点,并在硬件交互场景下显著降低延迟。

Additional Context

这对于希望利用 Astron 框架开发 AI 智能可穿戴设备或物联网中控的开发者来说,将是一个巨大的加分项。

Priority Level

High — Critical for users, blocking workflows

Feature Category

  • Core Functionality
  • API / Backend
  • UI / UX
  • Developer Experience
  • Performance
  • Security
  • Documentation
  • Other (explain below)

Proposed Solution

No response

Success Criteria

No response

Additional Context

No response

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Type

    No type

    Projects

    Status

    Todo

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions