Category · 分类

实验与实测

我们自己跑过的测试、对比数据、复盘和结论。不转述二手信息,只写亲手验证的。

清除筛选
310篇文章
  1. MI300X 上跑 Gemma 4 E2B:fp8 最快,却离原始权重最远

    本文提供了在单张AMD Instinct MI300X上通过vLLM部署Gemma 4 E2B十种权重格式的逐步指南,并在相同请求数和提示长度下进行了性能测试。结果显示,fp8格式速度最接近bf16,而int8和4位格式较慢。所有日志、报告和脚本均已开源。

  2. 把生成式 AI 塞进数据库:AlloyDB 语义搜索与自然语言生成 SQL 实测

    本文介绍了如何利用Google Cloud数据库(如AlloyDB和Cloud SQL)的AI集成功能,通过动手实验展示语义搜索、多模态嵌入、AI函数和自然语言生成SQL等应用,帮助开发者将数据与生成式AI模型结合,构建生产级AI应用。

  3. 4GB 显存跑 Gemma 4:重打包 QAT 权重让解码快 1.12 倍

    本文手把手教你在只有4GB显存的笔记本GPU(GTX 1650 Ti)上,用重打包的QAT量化GGUF文件运行Gemma 4 E2B模型。通过llama.cpp和CUDA,模型仅占1.2GB显存,解码速度达76 token/秒,比官方GGUF快1.12倍,且完全本地运行,无需云端。

  4. 单张 TPU v5e 跑 12B 模型:重打包 Gemma 4 QAT 权重实测

    本文提供了一份分步指南,教你如何将 Google 量化感知训练(QAT)的 Gemma 4 权重重新打包,以便在单块 Google Cloud TPU v5e 芯片上通过 vLLM 部署。重打包后的模型在分类、数学、工具调用等任务上表现与 bf16 相当,甚至优于 Google 官方的 4-bit 导出,同时支持从 E2B 到 26B 的所有尺寸。

  5. 把嵌入表也压到4位:Gemma 4 E2B 在单张 T4 上显存降到 2.86 GiB

    本文提供了一份完整的教程,指导如何将Google的QAT Gemma 4 E2B模型量化为4位权重(包括嵌入表),并在单张Tesla T4上使用vLLM进行服务。结果显示,int4嵌入版本仅占用2.86 GiB显存,支持109.9万token的KV缓存,解码速度达到109.7 tok/s,且输出与bf16版本完全一致。

  6. 把 Gemma 4 塞进 T4 小实例:单请求只慢两成,并发一上来性价比就翻车

    本文是系列教程的第四部分,指导如何在 Amazon SageMaker 最小的 GPU 实例(NVIDIA T4)上部署 Gemma 4 模型。通过打补丁解决 Turing 架构的共享内存限制,并使用 MCP 工具简化 vLLM 部署管理。实测显示 T4 的解码速度是 L4 的 0.77 到 0.82 倍,但答案完全一致,且 12B 是能容纳的最大版本。

  7. 10款大模型计数能力实测:让模型自己数330个ID,最贵的Claude Opus 5只对了9次

    这篇基准测试对比了10款大模型在工具调用场景下的计数能力。当工具直接返回精确计数时,几乎所有模型都能正确回答;但当工具返回ID列表需要模型自己数时,模型表现出现严重分化:愿意花更多token推理的模型计数准确,而快速回答的模型错误率极高。结论是:把计数逻辑放在工具端,而不是让模型自己数。

  8. TPU v6e 跑 Gemma 4 决策推理:比 L4 快一倍,成本却贵 3.7 倍

    本文手把手教你在单颗 Google Cloud TPU v6e 芯片上,用 vLLM 部署 Gemma 4 系列模型,并运行 Jev 风格的决策模型。文章对比了 TPU v6e 与 NVIDIA L4 GPU 的推理表现,发现 26B-A4B 模型在 TPU 上决策延迟为 27-33 毫秒,远快于 L4 的 61 毫秒,但按需计费成本更高,推荐使用 12B 模型。

  9. 一万个网站的 robots.txt 暴露了一个盲区:大家都在封训练爬虫,却忘了答案爬虫

    Cloudflare推出按答案付费,但网站robots.txt规则大多只屏蔽训练爬虫,忽略了答案爬虫。对1万个网站的分析显示,38%的GPTBot规则写于2023年第四季度,而答案爬虫规则增长缓慢。网站需要更新规则以应对AI答案时代。