GEO

如何监控GPT、Claude等AI模型对软件项目的推荐排名变化?

2026/4/10
如何监控GPT、Claude等AI模型对软件项目的推荐排名变化?

AI Summary (BLUF)

GeoStorm is an open-source AI perception monitoring tool that tracks how AI models like GPT, Claude, and Gemini recommend and perceive software projects, providing alerts for changes in rankings, competitor emergence, and recommendation share.

原文翻译: GeoStorm是一款开源AI感知监控工具,用于追踪GPT、Claude、Gemini等AI模型对软件项目的推荐和感知情况,当排名变化、出现新竞争对手或推荐份额下降时提供警报。

引言

在当今的软件开发领域,AI 助手正迅速成为开发者发现和评估新工具的主要渠道。当开发者向 GPT、Claude、Gemini 或 Perplexity 等模型提问“X 领域最好的库是什么?”时,AI 的回答直接决定了项目的采用率。然而,作为项目维护者,你很可能对这些模型如何评价和推荐你的软件一无所知。

In today's software development landscape, AI assistants are rapidly becoming the primary channel for developers to discover and evaluate new tools. When developers ask models like GPT, Claude, Gemini, or Perplexity, "What's the best library for X?", the AI's response directly determines a project's adoption rate. However, as a project maintainer, you likely have no idea how these models evaluate and recommend your software.

GeoStorm 应运而生,旨在解决这一“AI 感知盲区”。它是一个开源监控工具,能够定期查询多个主流 AI 模型,追踪它们对你的软件的“看法”和推荐排名,并在情况发生变化时向你发出警报——无论是出现了新的竞争对手、你的排名下降,还是某个模型不再提及你的项目。

GeoStorm emerges to address this "AI perception blind spot." It is an open-source monitoring tool that can regularly query multiple mainstream AI models, track their "perception" and recommendation rankings of your software, and alert you when changes occur—whether it's the emergence of a new competitor, a drop in your ranking, or a model ceasing to mention your project.

其核心理念是:一键部署,持续洞察。通过一个简单的 Docker 命令,你就能启动一个包含完整演示数据的实例,立即开始探索 AI 对你的项目的“看法”。

Its core philosophy is: One-click deployment, continuous insight. With a simple Docker command, you can launch an instance with complete demo data and immediately begin exploring how AI "perceives" your project.

核心特性概览

GeoStorm 的设计目标是简洁、强大且开箱即用。以下是其核心功能模块的概览:

GeoStorm is designed to be simple, powerful, and ready to use out of the box. Here is an overview of its core functional modules:

特性 描述 关键价值
统一信号面板 按严重性和时间排序的警报信息流。 集中掌控所有关键变化。
感知趋势图 可视化追踪你的项目在不同 AI 模型中的推荐份额和排名随时间的变化。 洞察长期趋势与模型间差异。
多模型监控 同时监控 GPT、Claude、Gemini 等多个模型。 全面覆盖主流开发者查询渠道。
智能警报系统 检测竞争对手出现、项目消失、推荐份额下降等关键信号。 被动监控变为主动预警。
MCP 集成 (Claude Code) 通过对话式界面查询监控数据。 提升数据交互的便捷性。

快速开始

体验 GeoStorm 最简单的方式是通过 Docker 运行。以下命令将启动容器,并加载一个包含 90 天模拟监控数据的演示项目。

The easiest way to experience GeoStorm is to run it via Docker. The following command will start the container and load a demo project with 90 days of simulated monitoring data.

docker run -d -p 8080:8080 -v geostorm-data:/app/data --name geostorm ghcr.io/geostorm-ai/geostorm

启动后,在浏览器中打开 http://localhost:8080 即可立即访问仪表盘。无需克隆代码、构建步骤或初始配置 API 密钥。

After starting, open http://localhost:8080 in your browser to access the dashboard immediately. No code cloning, build steps, or initial API key configuration is required.

前置要求

在运行 GeoStorm 之前,请确保满足以下条件:

Before running GeoStorm, please ensure the following requirements are met:

  • Docker: 用于运行容器。
  • OpenRouter API 密钥: 用于查询各类 AI 模型。这是主要的运行成本来源。
  • Docker: For running the container.
  • OpenRouter API Key: For querying various AI models. This is the primary source of operational cost.

监控的警报类型

GeoStorm 的核心是它的智能检测引擎。它会持续分析 AI 模型的响应,并在检测到以下关键信号时生成警报。

The core of GeoStorm is its intelligent detection engine. It continuously analyzes AI model responses and generates alerts when the following key signals are detected.

警报类型 严重等级 触发条件描述
competitor_emergence
(竞争对手出现)
严重 在针对你所属领域的 AI 推荐中,出现了新的竞争对手。
disappearance
(项目消失)
严重 你的软件不再被一个或多个 AI 模型提及。
recommendation_share_drop
(推荐份额下降)
警告 你在 AI 推荐中所占的份额显著下降。
position_degradation
(排名下降)
警告 你的软件在 AI 推荐列表中的排名降低。
model_divergence
(模型分歧)
警告 不同的 AI 模型对你的软件给出了差异巨大的评价或推荐。

技术架构

GeoStorm 采用一体化设计,所有组件封装在单个 Docker 容器中,无需外部依赖(如 Redis、独立数据库服务器),极大简化了部署和运维。

GeoStorm adopts an integrated design, with all components packaged within a single Docker container and no external dependencies (such as Redis or a separate database server), greatly simplifying deployment and operations.

组件 技术栈 说明
后端 API FastAPI 提供 REST API,并通过内置的 APScheduler 处理定时监控任务。
前端界面 Astro + React + TailwindCSS 现代、响应式的 Web 界面,图表由 Recharts 驱动。
数据存储 SQLite 数据存储在挂载的卷(./data/)中,无需管理数据库服务。
任务调度 APScheduler (进程内) 定时任务在 FastAPI 进程内运行,无需独立 worker 或消息队列。

这种架构实现了 “一个容器,一个端口,一个卷挂载” 的极简运维体验。

This architecture achieves a minimalist operational experience of "one container, one port, one volume mount."

配置与集成

通知渠道

GeoStorm 支持配置多种通知渠道,以便在警报触发时及时通知你。所有配置均通过环境变量在 .env 文件中完成。

GeoStorm supports configuring multiple notification channels to alert you promptly when alarms are triggered. All configurations are done via environment variables in a .env file.

渠道 配置方式 用途
Slack 设置 Webhook URL 将警报发送到指定的 Slack 频道。
电子邮件 配置 SMTP 服务器参数 通过邮件接收警报摘要。
自定义 Webhook 设置目标 HTTP 端点 将警报数据推送到任何自定义系统或 API。

所有通知渠道都是可选的。无论是否配置外部通知,所有警报都会在 GeoStorm 的 Web 界面中清晰展示。

All notification channels are optional. Regardless of external notification configuration, all alerts are clearly displayed in GeoStorm's web interface.

MCP 集成(与 Claude Code 对话)

GeoStorm 支持 Model Context Protocol (MCP),在 /mcp/ 端点暴露了数据查询工具。这使得你可以直接在 Claude Code 等 AI 编程助手中,通过自然对话查询监控数据。

GeoStorm supports the Model Context Protocol (MCP), exposing data query tools at the /mcp/ endpoint. This allows you to query monitoring data through natural conversation directly within AI programming assistants like Claude Code.

设置完成后,你可以向 Claude 提问,例如:“我正在监控哪些项目?”、“显示 Shotgun 的感知分数”或“有没有需要我关注的警报?”。

After setup, you can ask Claude questions like, "What projects am I monitoring?", "Show me the perception scores for Shotgun," or "Are there any alerts I should be aware of?"

工具名称 功能描述
list_projects 列出所有监控项目的 ID、名称和最新分数。
get_project_summary 获取项目的完整摘要,包括详情、感知数据、细分项、最近运行记录和警报(支持 ID 或模糊名称)。
get_run_detail 获取单次监控运行的详细结果,包括感知分数和检测到的竞争对手。
get_trajectory 获取项目的历史趋势数据,支持按天/周/月聚合(支持 ID 或模糊名称)。

常见问题解答 (FAQ)

为什么我需要这个工具?
越来越多的开发者通过询问 AI 来发现工具。如果一个模型停止推荐你的项目,或者开始青睐你的竞争对手,除非你手动检查,否则你将无从知晓。GeoStorm 自动化了这一过程,并在情况变化时提醒你。

Why do I need this tool?
More and more developers are discovering tools by asking AI. If a model stops recommending your project or starts favoring your competitor, you would have no way of knowing unless you manually check. GeoStorm automates this process and alerts you when changes occur.

为什么使用 OpenRouter
OpenRouter 让你通过一个 API 密钥即可访问 GPT、Claude、Gemini、Llama 等数十种模型。你无需分别管理 OpenAI、Anthropic 和 Google 的密钥。当然,你也可以选择直接使用各提供商的 API 密钥。

Why use OpenRouter?
OpenRouter gives you access to dozens of models like GPT, Claude, Gemini, and Llama through a single API key. You don't need to manage separate keys for OpenAI, Anthropic, and Google. Of course, you can also choose to use the providers' API keys directly.

运行成本是多少?
GeoStorm 本身是免费的。唯一的成本是通过 OpenRouter 调用 AI API 产生的费用。一次典型的监控运行会查询 3 个模型,每个模型使用几个提示词——每次运行的成本大约在 $0.01 - $0.05 之间,具体取决于选择的模型。按每日运行计算,每月成本约为 $1 - $2

How much does it cost to run?
GeoStorm itself is free. The only cost is the AI API usage fees incurred through OpenRouter. A typical monitoring run queries 3 models with a few prompts each—costing approximately $0.01 - $0.05 per run, depending on the models chosen. Running daily translates to a monthly cost of about $1 - $2.

为什么选择 SQLite?
GeoStorm 是一个单用户监控工具,而非多租户 SaaS 平台。SQLite 保持了极简性——无需运行数据库服务器,无需配置连接字符串。你的所有数据都存储在挂载卷的一个文件中。对于 GeoStorm 的查询模式而言,SQLite 的性能完全足够。

Why SQLite?
GeoStorm is a single-user monitoring tool, not a multi-tenant SaaS platform. SQLite maintains extreme simplicity—no database server to run, no connection strings to configure. All your data is stored in a single file on a mounted volume. For GeoStorm's query patterns, SQLite's performance is more than sufficient.

总结与展望

GeoStorm 填补了开源项目维护者在 AI 时代的一个关键信息空白。它将以一种轻量、高效且低成本的方式,帮助你掌握自己的项目在主流 AI 助手“眼中”的形象和地位。

GeoStorm fills a critical information gap for open-source project maintainers in the AI era. It helps you understand the image and standing of your project in the "eyes" of mainstream AI assistants in a lightweight, efficient, and low-cost manner.

项目未来计划增加更多功能,如用户认证、直接提供商 API 支持、更广泛的模型覆盖以及数据导出等。GeoStorm 是一个活跃的开源项目,欢迎社区通过提交 Issue 或 Pull Request 来共同改进它。

The project plans to add more features in the future, such as user authentication, direct provider API support, broader model coverage, and data export. GeoStorm is an active open-source project, and the community is welcome to improve it together by submitting issues or pull requests.

立即开始监控,不再对 AI 的“看法”一无所知。

Start monitoring now, and no longer be in the dark about what AI "thinks."

常见问题(FAQ)

GeoStorm 监控哪些 AI 模型?

GeoStorm 同时监控 GPT、Claude、Gemini 等多个主流 AI 模型,全面覆盖开发者查询渠道,追踪它们对软件项目的推荐和感知情况。

GeoStorm 能检测到哪些关键变化并发出警报?

它能检测竞争对手出现、项目消失、推荐份额下降和排名下降等关键信号,并按严重等级生成警报,帮助您从被动监控变为主动预警。

如何快速开始使用 GeoStorm?

通过一个简单的 Docker 命令即可启动包含演示数据的实例,无需克隆代码或复杂配置。启动后访问本地端口即可立即查看仪表盘。

← 返回文章列表
分享到:微博

版权与免责声明:本文仅用于信息分享与交流,不构成任何形式的法律、投资、医疗或其他专业建议,也不构成对任何结果的承诺或保证。

文中提及的商标、品牌、Logo、产品名称及相关图片/素材,其权利归各自合法权利人所有。本站内容可能基于公开资料整理,亦可能使用 AI 辅助生成或润色;我们尽力确保准确与合规,但不保证完整性、时效性与适用性,请读者自行甄别并以官方信息为准。

若本文内容或素材涉嫌侵权、隐私不当或存在错误,请相关权利人/当事人联系本站,我们将及时核实并采取删除、修正或下架等处理措施。 也请勿在评论或联系信息中提交身份证号、手机号、住址等个人敏感信息。