AMD 免费 API 实测:用 Gemma 4 31B 搭聊天页与 ADK 智能体

AI Summary (BLUF)
本文是一篇面向开发者的分步教程,教你如何通过 AMD Token Lab 免费 API 在 AMD GPU 上调用 Gemma 4 31B 模型。你只需加入 AMD AI 开发者计划即可获得 API 密钥,然后依次搭建本地聊天页面、终端客户端和一个基于 Google ADK 的小型智能体。全程无需信用卡,所有代码和数据均来自实际测试。
核心洞察
AMD Token LabAMD 提供的免费 OpenAI 兼容 API 服务,用于在 AMD Instinct 和 Radeon GPU 上运行开源大模型,是 AMD AI 开发者计划的会员福利。 这个免费 API 最实在的地方在于:不用信用卡、不用申请额度,加入开发者计划就能拿到 key。我比较意外的是 10 个积分居然这么经用,23 次请求才花掉 0.000335。不过共享端点的速度波动确实是个问题,单请求解码速度从 2.0 到 9.5 tok/s 都出现过,如果你要做实时交互的东西,得先想清楚能不能接受这个延迟。
这篇文章是一份完整的操作指南,讲怎么通过 AMD Token Lab 调用跑在 AMD GPU 上的 Gemma 4 31BGoogle 发布的开源大语言模型,支持文本和图像输入,上下文长度 262,144 token,通过 SGLang 后端提供服务。。Token Lab 是 AMD AI 开发者计划附带的免费 API。文章会在这个基础上搭一个本地聊天页面、一个终端客户端和一个小型 ADK 智能体,全部用同一套环境。
代码仓库地址:
https://github.com/xbill9/gemma4-dev/tree/main/tokenlab-sglang-amd-31b
问题很简单:一个不花钱的 API 能拿来做什么?Token Lab 给每个计划成员一个 key、30 天访问期和一个积分预算,不需要信用卡,也不需要申请额度。下面所有数据都来自 2026 年 11 月 13 日向它发出的请求。
核心结论
AMD Token Lab 是 AMD AI 开发者计划附带的免费 API,无需信用卡、无需申请额度,加入计划即可获得 key,每个 key 附带 10 个积分、30 天访问期(可延长一次 15 天)和每分钟 20 次请求的速率限制。
Gemma 4 31B 通过 OpenAI 兼容接口提供服务,支持文本与图像输入、思考模式、工具调用和 262,144 token 上下文,背后运行在 SGLangA framework or library that supports native FP8 inference for models like DeepSeek-V3. 上(模型卡标注为 "sglang-router"),但 AMD 未公布具体 GPU 型号。
积分消耗极低:完成文章全部 23 次请求仅用掉 10 个积分中的 0.000335;Gemma 4 31B 费率为每百万输入 token 0.035 积分、每百万输出 0.07 积分。
共享端点的速度波动明显:单请求解码速度在 2.0 到 9.5 token/秒之间浮动,首 token 到达时间在 1.2 到 5.0 秒之间,不适合对延迟敏感的实时交互场景。
Gemma 4 31B 在所有用户间共享最多 128 个并发请求上限,超出返回 HTTP 429 并附带
Retry-After: 1;客户端需在流开始前重试,已中断的流无法自动重试。
AMD Token Lab 是什么
Token Lab 把自己描述成一个兼容 OpenAI 的 API,“为领先的开源模型提供服务,跑在 AMD Instinct 和 Radeon 上”。基础地址是 https://api.tokenlab.amd.com/v1,curl、OpenAI 和 Anthropic 的 SDK、LangChain 以及 AMD AI Notebooks 都能用。
它是 AMD AI 开发者计划的成员福利之一。计划的云积分页面提供三个选项:AMD Instinct 开发者云、Fireworks AI 和 Token Lab。Token Lab 是唯一标注“无需申请额度”的那个。
目录里有 10 个模型,全部标为免费:Gemma 4 31B、DeepSeek V4 Flash 和 V4.1 Flash、Qwen3.8 27B、三个 MiniCPM 模型,还有三个决策模型。Gemma-4-31B-IT 能读文本和图像,上下文长度 262,144 个 token。
新 key 附带的东西:
| 额度项 | 数值 |
|---|---|
| 积分 | 10,整个访问期内 |
| 访问期 | 30 天,可延长一次 15 天 |
| 速率限制 | 每个 key 每分钟 20 次请求 |
| Gemma 4 31B 费率 | 每百万输入 token 0.035 积分,每百万输出 0.07 |
| 你的花费 | 零 |
Token Lab 说积分衡量的是各模型的相对用量,模型越大每个 token 消耗的积分越多。跑完这篇文章里的所有内容,23 次请求一共用掉 10 个积分里的 0.000335。
开始之前你需要准备
- 一个能注册 AMD 账号的邮箱
- 装了
pip的 Python 3 - 跑智能体的话还需要
google-adk和litellm(pip install google-adk litellm) - 克隆
gemma4-dev仓库,或者只拿tokenlab-sglang-amd-31b目录
第一步:加入 AMD AI 开发者计划
计划首页写得很直白:“加入计划免费,帮你构建、优化和扩展 AMD 硬件上的 AI。”
打开 https://developer.amd.com,点 Join the Program。如果你没有 AMD 账号,页面上列出的步骤是:
- 填写 AMD AI 开发者计划注册表
- 验证邮箱地址
- 进入 AI Academy
已有 AMD 账号的话,直接登录再打开加入表单就行。
成员资格还包括一个月 DeepLearning.AI 会员、活动优先报名、一个和 AMD 工程师交流的私密 Discord,以及每月抽奖送 Radeon GPU 或 Ryzen AI PC。
第二步:拿到 Token Lab 的 key
打开 https://notebooks.amd.com/tokenlab,用 AMD AI Developer ProgramAMD 推出的免费开发者计划,提供 AI 学习资源、云积分和 Token Lab 等福利,帮助开发者在 AMD 硬件上构建和优化 AI 应用。 (Global) Login 登录。页面分三步:拿 key、复制基础地址、从目录里调一个模型。
控制面板会显示剩余积分、最近 30 天的请求数、剩余天数、速率限制和 key 的状态,还有重新生成和吊销 key 的按钮。重新生成不会清掉你的积分和访问期。
把 key 放进项目的 .env 文件,权限设成只有自己能读,永远不要提交到仓库:
cd tokenlab-sglang-amd-31b
umask 077; echo 'TOKENLAB_API_KEY=tl-...' > .env
基础地址和模型名放在已提交的 tpu.env 里:
TOKENLAB_BASE_URL=https://api.tokenlab.amd.com/v1
MODEL_NAME=Gemma-4-31B-IT
第三步:第一次调用
make query 发一次聊天补全请求,打印原始回复:
$ make query
{
"model": "Gemma-4-31B-IT",
"choices": [
{
"message": {
"role": "assistant",
"content": "The capital of Australia is Canberra."
},
"finish_reason": "stop",
"matched_stop": 106
}
],
"usage": {
"prompt_tokens": 20,
"completion_tokens": 8,
"cost": 1.1228e-06
}
}
每条回复都带一个以积分计的 cost 字段,客户端可以自己累计用量。
第四步:端点背后是什么
make models 打印 Token Lab 公布的模型卡:
{
"id": "Gemma-4-31B-IT",
"name": "Gemma 4 31B",
"description": "Dynamic sglang-router service managed by Model Ops",
"context_length": 262144,
"supported_parameters": ["temperature", "max_tokens", "top_p", "stream",
"response_format", "tools", "tool_choice", "reasoning_effort"],
"architecture": {"input_modalities": ["text", "image"], "output_modalities": ["text"]}
}
Gemma 4 31B 跑在 SGLang 上:模型卡写着“sglang-router”,回复里也带 SGLang 的 matched_stop 字段。同一个目录里三个 MiniCPM 模型是“vllm-router”服务。Token Lab 对硬件的描述只有 AMD Instinct 和 Radeon,没给具体型号。
工具调用和 JSON 输出都在支持的参数列表里,第七步的智能体就靠这个。
第五步:本地聊天页面
chat_ui.py 是这个仓库里 TPU v5e vLLM 项目的聊天页面,指向 Token Lab 而已。纯标准库 Python:在 127.0.0.1 上提供一个页面,把 /v1/* 转发到 Token Lab 并附上 key,所以 key 留在你机器上,永远不会到浏览器那边。
$ make ui
Chat UI on http://localhost:8766 -> https://api.tokenlab.amd.com/v1 (Gemma-4-31B-IT)
侧边面板有最大 token 数、温度、top-p、思考开关和系统提示词;上一条回复的首 token 时间、解码速率、token 数和积分;模型卡;以及会话总计。那次回复首 token 用了 4.96 秒,解码速度 9.5 token/秒,消耗 0.00000942 积分。
图片按钮会附上一张图,以 OpenAI 图像格式的 data URL 发送。思考开关通过 chat_template_kwargs.enable_thinking 打开 Gemma 的推理,推理内容会流式显示在答案上方的折叠区域里。
第六步:终端里用
ask.py 沿用了这个仓库 GTX 1650 Ti 项目的 ask 客户端风格:一个问题就退出、管道输入,或者带记忆的对话。
$ make bin # 链接 ~/bin/ask-tokenlab
$ echo "Canberra is the capital of Australia." | ask-tokenlab translate to French
**Canberra est la capitale de l'Australie.**
管道输入变成材料,参数变成指令。-T 打开思考,-I photo.jpg 附图片,-r 打印原始 JSON,不带参数就进入对话模式,输入 ! 清空历史。
第七步:一个 ADK 智能体示例
tokenlab_agent/ 是给 Google Agent Development Kit 写的小智能体。ADK 通过 LiteLLM一个统一的AI模型调用接口,支持多种大型语言模型,提供标准化的API和定价信息查询功能。 的 OpenAI 提供方连到 Token Lab,整个连接就是一个模型对象:
model = LiteLlm(
model="openai/Gemma-4-31B-IT",
api_base="https://api.tokenlab.amd.com/v1",
api_key=TOKENLAB_API_KEY,
num_retries=30,
timeout=600,
extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
智能体有两个工具。list_tokenlab_models 返回 Token Lab 当前提供的模型。count_and_range 在代码里做计数、过滤和求最小最大值,这样模型引用的是精确数字,并且会说明用了什么过滤条件:
def count_and_range(numbers: list[float], at_least: Optional[float] = None,
below: Optional[float] = None) -> dict:
"""Count the numbers that satisfy at_least <= x < below, and give their min, max and sum."""
run_agent.py 跑一轮,打印每次工具调用和耗时:
$ python3 run_agent.py
8.1s call count_and_range({"at_least": 10, "numbers": [0, 2, 3, 20, 21, 22, 23, 10, 11, 12, 13]})
8.1s result {"filter": "10 <= x", "total_values": 11, "count": 8, "min": 10, "max": 23, "sum": 132}
12.3s answer There are 8 values that are 10 or more, using the filter "10 <= x".
Gemma 把“10 或以上”理解成 at_least: 10,工具返回 8,答案引用了工具的计数和过滤条件。第二个工具:
$ python3 run_agent.py "Which models on Token Lab are served by vLLM, and which by SGLang? Short list."
25.7s call list_tokenlab_models({})
38.4s result {"models": [{"id": "Clef", "service": "Dynamic aux-router service managed by Model Ops", ...
48.9s answer **vLLM:**
* MiniCPM5-2B
* MiniCPM-V-4.7-1B
* MiniCPM-V-4.7-35B-A3B
**SGLang:**
* DeepSeek-V4.1-Flash
* DeepSeek-V4-Flash
* Gemma-4-31B-IT
* Qwen3.8-27B
同一个智能体也能跑在 ADK 自己的工具里:make agent 在终端里跑 adk run,make agent-web 在 8767 端口跑 adk web。
第八步:免费的速度怎么样
一次一个流式请求,温度 0,从笔记本发出:
| 思考 | 补全 token 数 | 首 token | 总耗时 | 解码速度 |
|---|---|---|---|---|
| 关 | 97 | 5.04 秒 | 17.8 秒 | 7.55 tok/s |
| 关 | 256 | 1.22 秒 | 35.0 秒 | 7.55 tok/s |
| 关 | 35 | 2.23 秒 | 12.3 秒 | 3.41 tok/s |
| 开 | 390(291 推理) | 3.35 秒 | 199.8 秒 | 1.98 tok/s |
一天里单请求的解码速度在 2.0 到 9.5 token/秒之间浮动,首 token 在 1.2 到 5.0 秒之间到达。计时运行中,回复头在半秒内到达,流在首 token 之前一直带 keep-alive ping。
这个端点是所有 Token Lab 用户共享的。Gemma 4 31B 在所有用户之间同时最多 128 个请求,超了会返回 HTTP 429 和 Retry-After: 1。这些数字描述的是当天 Token Lab 的负载,说明不了背后 GPU 的速度。
小技巧:流开始之前先重试
模型达到共享上限或者你的 key 超过每分钟 20 次请求时,Token Lab 返回 429;后端重启时返回 502、503 或 504。它的 FAQ 让客户端等几秒再发一次,遵守 Retry-After。
tokenlab.py 在聊天页面和终端客户端里做了这件事,在回复开始之前重试,智能体则靠 LiteLLM 的 num_retries。已经开始之后断掉的流没有状态码可以重试:完整的流以 data: [DONE] 结尾,聊天页面会标记没有这个结尾的回复。
流里还有一些严格解析器会绊倒的行:排队时的 : ping、每个事件后的 id: N、[DONE] 之前的 event: done。只读 data: 开头的行。
对比一下
计划云积分页面上的三个选项:
| Token Lab | AMD Instinct 开发者云 | Fireworks AI | |
|---|---|---|---|
| 你得到什么 | 模型目录的 API | 裸 AMD Instinct GPU | 托管模型端点 |
| 额度申请 | 不需要 | 填表,然后验证 | 填表,然后验证 |
| 配置 | 一个 key | 自己的技术栈(vLLM、SGLang、PyTorch) | 一个 key |
| 对模型的控制 | 仅限目录 | 你部署的任何东西 | 目录 |
| 速度 | 共享,会波动 | 独占一块 GPU | 托管 |
| 过期 | 激活后 30 天 | 激活后 30 天 | 签发后 90 天内 |
那到底选哪个
先从 Token Lab 开始。不花钱,不需要申请,除了一个 key 不需要任何配置。想拿 Gemma 4 31B 和目录里其他模型对比、搭原型、接智能体,都从这里入手。
当原型需要可靠的速度、目录之外的模型,或者自己的服务器时,申请 AMD Instinct 开发者云的额度自己部署;这个仓库的 gpu-vllm-mi300x-31b 项目用 vLLM 跑同一个模型。
总结
这篇文章的目标是搞清楚 AMD Token Lab 这个随 AMD AI 开发者计划附带的免费 API 能拿来做什么。关键在于一个小客户端模块,它持有 key、按 Token Lab 的要求重试,并支撑一个聊天页面、一个终端客户端和一个 ADK 智能体。结果如下:
- 加入计划免费,Token Lab 不需要申请额度:一个 key 附带 10 个积分、30 天和每分钟 20 次请求。
- Gemma 4 31B 能处理文本和图像,支持思考、工具和 262,144 token 上下文,走 OpenAI API。
- 这篇文章里的所有内容,23 次请求一共用掉 10 个积分里的 0.000335。
- 本地聊天页面把 key 留在你机器上,显示每条回复的耗时和积分。
- 一个 ADK 智能体用一个
LiteLlm对象连到 Token Lab 并调用工具:它根据工具的精确结果回答了一个计数问题。 - 端点是共享的:单请求解码速度在 2.0 到 9.5 token/秒之间,首 token 最长要 5 秒。
- Gemma 4 31B 在 Token Lab 背后跑在 SGLang 上,GPU 型号没有公布。
- 超过共享的 128 请求上限会返回 429,必须重发;回复中途断掉的流没法自动重试。
范围说明:2026 年 11 月 13 日,一台笔记本调用 api.tokenlab.amd.com,一次一个请求,Gemma-4-31B-IT,计时表用温度 0。时间包含网络和共享服务上其他用户的负载,所以每小时都在变。并发、长提示词和答案准确度没有测。智能体用的是 google-adk 2.13.0 和 litellm 1.106.4。
在 AMD Token Lab 上构建的策略,是通过增量式的分步方法验证的。
参考链接
- tokenlab-sglang-amd-31b 仓库:https://github.com/xbill9/gemma4-dev/tree/main/tokenlab-sglang-amd-31b
- 本文的证据材料:https://github.com/xbill9/gemma4-dev/tree/main/docs/tokenlab-free/evidence
- AMD AI 开发者计划:https://developer.amd.com/
- AMD Token Lab:https://notebooks.amd.com/tokenlab
- Google Agent Development Kit:https://google.github.io/adk-docs/
- LiteLLM:https://github.com/BerriAI/litellm
- SGLang:https://github.com/sgl-project/sglang
- Gemma 4 31B 在 Hugging Face:https://huggingface.co/google/gemma-4-31B-it
- gemma4-dev 仓库:https://github.com/xbill9/gemma4-dev
希望你觉得有用。
常见问题(FAQ)
AMD Token Lab 免费 API 怎么申请?需要信用卡吗?
不需要信用卡。在 developer.amd.com 点击 Join the Program 加入 AMD AI 开发者计划,验证邮箱后登录 notebooks.amd.com/tokenlab,即可获取 API key、30 天访问期和 10 个积分。
Gemma 4 31B 在 Token Lab 上的调用速度怎么样?
共享端点速度波动明显,实测单请求解码速度在 2.0 到 9.5 tok/s 之间,首 token 时间约 4.96 秒。做实时交互应用前需评估能否接受该延迟。
Token Lab 的 10 个积分够用吗?调用成本高不高?
很够用。Gemma 4 31B 每百万输入 token 仅 0.035 积分、输出 0.07 积分,完成教程全部 23 次请求只花掉 0.000335 积分,几乎可以忽略不计。
版权与免责声明:本文仅用于信息分享与交流,不构成任何形式的法律、投资、医疗或其他专业建议,也不构成对任何结果的承诺或保证。
文中提及的商标、品牌、Logo、产品名称及相关图片/素材,其权利归各自合法权利人所有。本站内容可能基于公开资料整理,亦可能使用 AI 辅助生成或润色;我们尽力确保准确与合规,但不保证完整性、时效性与适用性,请读者自行甄别并以官方信息为准。
若本文内容或素材涉嫌侵权、隐私不当或存在错误,请相关权利人/当事人联系本站,我们将及时核实并采取删除、修正或下架等处理措施。也请勿在评论或联系信息中提交身份证号、手机号、住址等个人敏感信息。




