如何降低AI Agent的Token成本？OpenViking文件系统范式详解

一、为什么需要 OpenViking？

在构建 AI Agent 时，开发者常常面临这些痛点：

• 上下文碎片化：记忆散落在代码里，资源存在向量库，技能到处乱放
• 上下文爆炸：长时任务产生的海量信息，简单截断会丢失关键内容
• 检索效果差：传统 RAG 平铺存储，缺乏全局视角
• 黑盒不可观测：检索链路不透明，出错难定位
• 记忆无法迭代：只记录对话，不沉淀任务经验

OpenViking 是一个专为 AI Agent 设计的上下文数据库，用“文件系统范式OpenViking采用的一种虚拟文件系统管理方法，用于组织上下文数据，包括memories、resources和workspace等目录结构。”统一管理记忆、资源、技能，让 Agent 越用越聪明。

---

二、实现原理：五大核心创新

1. 文件系统范式

OpenViking 抛弃传统向量数据库的平铺模型，将所有上下文映射到 viking:// 协议的虚拟文件系统中：

viking://
├── resources/          # 项目文档、代码仓库
│   └── my_project/
├── user/               # 用户记忆
│   └── memories/
│       ├── preferences/    # 用户偏好
│       ├── entities/       # 关注的人/项目
│       └── events/         # 重要事件
└── agent/              # Agent 记忆
    ├── skills/             # 技能库
    ├── memories/
    │   ├── cases/          # 任务案例
    │   └── patterns/       # 可复用模式
    └── instructions/       # 指令集

优势：Agent 可以用 ls、find、read 等确定性操作精确定位信息，告别模糊匹配。

2. 三级上下文加载OpenViking 的优化机制，自动将内容处理为 L0（摘要，~100 tokens）、L1（概览，~2k tokens）、L2（详情，完整内容）三个层级，实现按需加载，大幅降低 Token 消耗。

自动将内容处理为三级结构，按需加载，大幅降低 Token 消耗：

效果：实测减少 91% 的 Token 消耗（vs LanceDB）。

3. 目录递归检索融合意图分析、向量检索和目录探索的检索策略，先锁定高分目录再精细探索内容

五步检索策略，像人类专家一样理解信息上下文：

1. 意图分析：根据会话生成多维度查询
2. 初始定位：向量检索锁定高相关目录
3. 细化探索：目录内二次检索
4. 递归深入：子目录逐层探索
5. 结果聚合：返回最相关的上下文

4. 自动会话管理与记忆提取

会话结束时自动提取六类记忆：

流程：消息 → LLM 提取 → 向量去重 → LLM 决策 → 写入存储

5. Viking URI 系统OpenViking 的统一资源标识系统，格式为 `viking://{scope}/{path}`，用于标识和管理不同作用域（如 resources, user, agent, session）下的数据，支持多租户隔离。

统一资源标识，支持多租户隔离：

viking://{scope}/{path}

• resources：独立资源，长期有效
• user：用户数据，长期有效
• agent：Agent 数据，长期有效
• session：会话数据，会话生命周期

---

三、主要功能

资源管理

• add-resource
  • 导入本地文件或 URL
• export/import
  • 导出/导入 .ovpack
• ls/tree/read
  • 文件系统操作

语义检索

• find
  • 语义检索
• search
  • 上下文感知检索
• grep/glob
  • 模式匹配

会话管理

• session new/list/get/delete
  • 会话生命周期
• session add-message/commit
  • 消息提交与记忆提取

系统观测

• system status/health
  • 健康检查
• observer queue/vikingdb/vlm
  • 组件状态

---

四、使用场景

1. 个人 AI 助手

长期维护用户偏好、习惯，跨会话保持一致性。

2. 开发团队协作

共享项目知识库，新成员快速上手，知识沉淀不流失。

3. 企业知识管理

多租户隔离，不同团队数据独立，支持权限控制。

4. 自主 Agent 系统

任务经验自动积累，Agent 能力持续进化。

---

五、如何配合 OpenClaw 使用

OpenClaw 是一款流行的 AI Agent 框架，OpenViking 为其提供长期记忆后端。

快速开始

安装助手会自动检查环境、创建配置、部署插件。

cd /path/to/OpenViking
npx ./examples/openclaw-memory-plugin/setup-helper
openclaw gateway

核心功能

性能提升

基于 LoCoMo10 长对话数据集（1,540 例）：

提升：

• 相比原生：+46% 完成率，-91% Token 成本
• 相比 LanceDB：+17% 完成率，-92% Token 成本

配置示例

{
  "vlm": {
    "backend": "volcengine",
    "api_key": "<your-key>",
    "model": "doubao-seed-1-8-251228",
    "api_base": "https://ark.cn-beijing.volces.com/api/v3"
  },
  "embedding": {
    "dense": {
      "backend": "volcengine",
      "api_key": "<your-key>",
      "model": "doubao-embedding-vision-250615",
      "dimension": 1024
    }
  }
}

---

六、与 PageIndex 的对比

如何选择？

选 OpenViking 如果：

• 构建长期运行的 AI Agent
• 需要管理多种上下文（文档+代码+技能+记忆）
• 需要会话记忆自动迭代
• 需要生产级部署（多租户、权限控制）

选 PageIndex 如果：

• 主要做专业文档问答
• 对准确性要求极高
• 不想维护向量数据库
• 文档有清晰目录结构

---

七、快速开始

1. 安装

pip install openviking
# CLI 工具（可选）
curl -fsSL https://raw.githubusercontent.com/volcengine/OpenViking/main/crates/ov_cli/install.sh | bash

2. 配置

创建 ~/.openviking/ov.conf：

{
  "storage": {
    "workspace": "/path/to/workspace"
  },
  "embedding": {
    "dense": {
      "provider": "volcengine",
      "api_key": "<key>",
      "model": "doubao-embedding-vision-250615",
      "dimension": 1024
    }
  },
  "vlm": {
    "provider": "volcengine",
    "api_key": "<key>",
    "model": "doubao-seed-1-8-251228"
  }
}

3. 启动与使用

# 启动服务
openviking-server
# 添加资源
ov add-resource https://github.com/volcengine/OpenViking --wait
# 语义检索
ov find "what is openviking"
# 查看文件树
ov tree viking://resources/OpenViking -L 2

---

八、总结

OpenViking 不仅是一个工具，更是 AI Agent 上下文管理的新范式：

• 用文件系统思维统一管理记忆、资源、技能
• 三级加载机制大幅降低 Token 成本
• 目录递归检索提升上下文理解能力
• 自动记忆提取OpenViking 在会话结束时自动执行的流程，通过 LLM 提取六类记忆（如用户偏好、事件、任务案例、可复用模式等），并进行向量去重和决策后写入存储，使 Agent 能够积累经验。让 Agent 越用越聪明

如果你正在构建 AI Agent，不妨试试 OpenViking，让上下文管理不再是痛点。

常见问题（FAQ）

OpenViking如何帮助降低AI Agent的Token成本？

OpenViking通过三级上下文加载机制，将内容自动处理为摘要、概览和详情三个层级，按需加载。实测相比传统向量数据库可减少91%的Token消耗。

OpenViking的文件系统范式具体指什么？

它采用类似文件系统的虚拟目录结构（如viking://协议），统一管理记忆、资源和技能。Agent可使用ls、find等确定性操作精确定位信息，告别模糊匹配。

OpenViking在会话结束后如何管理记忆？

会话结束时自动提取六类记忆（如用户偏好、任务案例等），经过LLM提取、向量去重和决策后写入存储，实现记忆的迭代沉淀，让Agent越用越聪明。