Digital Twin Proxy如何将网络流量转化为AI智能体个人记忆？

将网页浏览活动转化为AI智能体的个人记忆。

Digital Twin Proxy一个开源正向代理工具，通过捕获和分析网络浏览流量，将其转化为AI代理可用的结构化个人记忆，实现上下文工程。 能够记录网络流量，并利用本地或远程的大型语言模型（LLM）来分析您的浏览模式。该项目专为开发者、研究人员以及任何希望通过AI视角理解自身在线活动的用户而设计。

核心特性

• HTTP/S 流量记录：捕获通过代理发起的所有网络请求。
• 具备自主性的内容感知分析：利用LLM不仅分析流量模式，还能自主决定抓取哪些页面进行更深入的分析。
• 灵活的运行模式：可在后台持续运行、记录流量，或执行一次性分析。
• 高度可定制：可轻松更改AI模型、分析间隔等设置。
• 兼容OpenAI API：可与任何OpenAI兼容的API协同工作，包括本地服务（如OllamaA tool for running and managing AI models locally, supporting DeepSeek and other models.、LM StudioA powerful local large model management tool that supports multiple model formats for desktop deployment.）和远程服务（如OpenAI、Groq等）。
• 注重隐私保护：通过使用本地LLM，确保您的浏览历史保持私密，不会发送给任何第三方服务。

关于隐私的说明

本应用旨在处理您的个人浏览历史。因此，我们强烈建议使用本地大型语言模型（LLM）服务，例如 Ollama、LM Studio、vLLM 或 TGI。通过在您自己的机器上运行LLM，可以确保您的浏览数据保持私密，永远不会发送给第三方服务。

虽然您可以使用任何OpenAI兼容的API，但请注意将浏览数据发送到远程服务可能带来的隐私影响。

为智能体应用提供上下文

Digital Twin Proxy 的主要输出是结构化的网络流量日志以及AI生成的分析报告。这些数据可以作为其他智能体应用强大的实时上下文来源。

通过提供近期浏览历史的分析，您可以为其他AI智能体构建一个信息更丰富的上下文窗口，使其能够：

• 个性化响应：智能体可以根据您当前的任务和兴趣调整其行为。
• 预判需求：智能体可以根据您正在访问的网站主动提供帮助。
• 优化工具使用：智能体可以更好地理解您的工作背景，从而选择正确的工具。

这种“上下文工程通过分析和结构化个人数据（如浏览历史），为AI代理设计和提供更丰富、相关的上下文信息，以提升其个性化响应和智能决策能力的过程。”的过程使您能够创建更强大、更个性化的AI体验。

工作原理

该代理通过将浏览器流量路由到本地Squid实例来工作。应用程序随后使用AI智能体分析流量，并决定抓取和分析哪些页面。

浏览器 → Squid 代理 (端口 8888) → 互联网
              ↓
         访问日志
              ↓
Digital Twin Proxy 应用 → OpenAI兼容API → 决定抓取内容 → 抓取页面内容 → OpenAI兼容API → 分析

1. 流量拦截：您的浏览器被配置为将所有HTTP和HTTPS请求发送到端口8888上的Digital Twin Proxy监听器。
2. 日志记录：由Squid驱动的代理记录每个请求的URL和主机。
3. 自主分析：digital-twin-proxy 应用程序通过OpenAI兼容的API将访问过的URL列表发送给LLM。LLM随后扮演智能体的角色，决定哪些URL值得进一步查看。
4. 内容抓取：如果智能体决定调查某个URL，它会使用工具抓取该页面的内容。
5. 深度分析：智能体随后分析抓取到的页面内容，生成对您浏览模式更深入、更有意义的总结。

快速开始

先决条件

• Rust 工具链
• Squid 代理
• 通过 OpenAI兼容API遵循OpenAI API接口规范的应用程序编程接口，允许工具与各种大语言模型服务（包括本地和远程）进行交互。 访问LLM。我们推荐本地服务，如 Ollama、LM Studio、vLLM 或 TGI。

安装

克隆仓库并构建项目：

git clone https://github.com/kstonekuan/digital-twin-proxy.git
cd digital-twin-proxy
cargo build --release

构建后的二进制文件位于 target/release/digital-twin-proxy。

配置

1. 配置浏览器

将浏览器的HTTP和HTTPS代理设置为 127.0.0.1:8888。

2. 配置API端点

您可以通过三种方法配置应用程序（按优先级排序）：

1. 命令行参数（最高优先级）
2. 环境变量
3. .env 文件（最低优先级）

可用配置选项

配置方法

方法一：使用 .env 文件：

复制示例配置文件并进行编辑：

cp .env.example .env
# 编辑 .env 文件，填入您的配置值

示例 .env 文件：

API_BASE=http://localhost:11434/v1
API_KEY=your-api-key-if-needed
MODEL=gpt-oss:20b
AMBIENT_INTERVAL=60
MAX_ANALYSIS_ITEMS=1000

方法二：使用环境变量：

export API_BASE=http://localhost:11434/v1
export MODEL=gpt-oss:20b
./digital-twin-proxy analyze --since 1h

方法三：使用命令行参数：

./digital-twin-proxy analyze \
  --since 1h \
  --api-base http://localhost:11434/v1 \
  --model gpt-oss:20b \
  --max-items 1000

3. 验证

在日志模式下启动代理并访问一个网站。

# 终端 1: 启动代理
./target/release/digital-twin-proxy log

# 终端 2: 跟踪日志
tail -f ~/.local/share/ai-proxy/log.ndjson

您应该能看到代表您网络流量的JSON对象。

使用方法

Digital Twin Proxy 有三个主要命令：

• log：启动代理，仅记录流量。
• analyze：对指定时间段内记录的流量执行一次性、内容感知的分析。
• ambient：运行代理，并在后台定期对流量进行内容感知分析。

示例：

# 仅记录流量，不进行分析
./digital-twin-proxy log

# 使用本地Ollama模型分析过去一小时的流量
./digital-twin-proxy analyze --since 1h --model gpt-oss:20b --api-base http://localhost:11434/v1

# 在后台模式下运行，每5分钟使用OpenAI API分析一次
./digital-twin-proxy ambient --interval 300 --model gpt-5 --api-base https://api.openai.com/v1 --api-key $OPENAI_API_KEY

未来规划

MCP 服务器

我们将很快把来自您数字孪生的上下文作为MCP服务器模型上下文协议服务器，允许开发者通过标准化接口暴露智能体、工具和其他资源，增强生态兼容性。暴露出来，以支持AI智能体。

浏览器内上下文注入

为了创造更具交互性和个性化的网页体验，我们正在开发一项功能，能够将实时上下文直接注入到您的浏览器中，供任何智能体AI应用（如ChatGPT、Perplexity等）访问您的数字孪生。

总结

Digital Twin Proxy 项目展示了一种创新的方法，将日常网络活动转化为可供AI系统利用的结构化、有意义的上下文。通过结合传统的网络代理技术与现代大型语言模型的自主分析能力，它为构建更个性化、更智能的AI助手铺平了道路。其强调本地化处理和隐私保护的设计理念，也使其在日益关注数据安全的今天显得尤为可贵。对于希望探索AI智能体个性化上下文构建的开发者而言，这是一个极具潜力的起点。

常见问题（FAQ）

Digital Twin Proxy 如何保护我的浏览隐私？

项目强烈建议使用本地LLM服务（如Ollama、LM Studio），确保浏览数据在本地处理，不会发送给第三方服务，从而保护隐私。

这个代理能为我的AI智能体提供什么帮助？

它能将您的网络浏览流量转化为结构化个人记忆和AI分析报告，为其他智能体应用提供实时上下文，实现个性化响应和需求预判。

Digital Twin Proxy 支持哪些AI模型服务？

兼容任何OpenAI兼容的API，包括本地服务（Ollama、LM Studio）和远程服务（OpenAI、Groq等），用户可灵活选择配置。