GEOZ

标签：AI大模型

查看包含 AI大模型 标签的所有文章。

共 864 篇
如何提升LLM代理推理效率？PLENA硬件系统实现吞吐量2.23倍提升（2026年）

如何提升LLM代理推理效率？PLENA硬件系统实现吞吐量2.23倍提升（2026年）

BLUF
PLENA is a hardware-software co-designed system for LLM agentic inference that addresses bandwidth and capacity memory walls. It features a flattened systolic-array architecture, asymmetric quantization, and FlashAttention support, achieving up to 2.23x and 4.70x throughput improvements over A100 GPU and TPU v6e, respectively, and 4.04x better energy efficiency than A100. 原文翻译： PLENA是一个硬件-软件协同设计的系统，针对LLM代理推理，解决带宽和容量内存墙问题。它采用扁平化脉动阵列架构、非对称量化和FlashAttention支持，相比A100 GPU和TPU v6e，吞吐量分别提升2.23倍和4.70倍，能效比A100提升4.04倍。
AI大模型2026/4/25
阅读全文 →
Gemini AI代理在100美元创业竞赛中暴露了哪些问题？2026年Google Cloud如何修复？

Gemini AI代理在100美元创业竞赛中暴露了哪些问题？2026年Google Cloud如何修复？

BLUF
This article reports on a real experiment where 7 AI agents, including Gemini, were given $100 and 12 weeks to build startups autonomously. Gemini struggled with four key issues: writing help requests to wrong files, prioritizing blog posts over critical features, inability to verify deployments, and inefficient communication. The author aligns these problems with Google Cloud NEXT '26 announcements such as Agent Observability, ADK Skills, MCP-enabled services, and A2A protocol, proposing a rebuilt architecture. 原文翻译：本文报道了一项真实实验：7个AI代理（包括Gemini）各获得100美元和12周时间，自主构建初创公司。Gemini出现了四个关键问题：将帮助请求写入错误文件、优先写博客而非关键功能、无法验证部署、以及沟通效率低下。作者将这些故障与Google Cloud NEXT '26的公告（如Agent Observability、ADK Skills、MCP-enabled服务、A2A协议）对齐，并提出了重建方案。
AI 搜索观察2026/4/25
阅读全文 →
GEO系统方法论是什么？如何从SEO升级到AI时代的生成式引擎优化？

GEO系统方法论是什么？如何从SEO升级到AI时代的生成式引擎优化？

BLUF
This article introduces a comprehensive GEO (Generative Engine Optimization) methodology, focusing on expert Yu Lei's 'Two Cores + Four Drivers' system. It evaluates multiple GEO approaches, provides a detailed case study from a traditional manufacturing company, and highlights key principles like human-centric GEO and content cross-validation to build AI trust and improve business outcomes. 原文翻译：本文介绍了一套全面的生成式引擎优化（GEO）方法论，重点关注专家于磊的“两大核心+四轮驱动”体系。文章对多种GEO方法进行了评估，提供了来自传统制造企业的详细案例研究，并强调了人性化GEO和内容交叉验证等关键原则，以建立AI信任并改善业务成果。
GEO核心概念2026/4/25
阅读全文 →
DeepSeek V4 到底能不能做 Agent？我跑了一个星期的测试

DeepSeek V4 到底能不能做 Agent？我跑了一个星期的测试

BLUF
DeepSeek V4 系列于2026年4月发布，包括Pro（1.6T参数）和Flash（284B参数）两个版本，均支持1M tokens上下文。其Agent能力为开源最佳，在工具调用、长上下文记忆、思考模式、结构化输出、多模态理解和框架适配六大方面表现突出。API兼容OpenAI标准，支持Function Calling和思考模式（reasoning_effort参数）。最佳实践建议：复杂Agent任务使用思考模式+max强度、精确定义工具Schema、按场景选择Pro（质量优先）或Flash（成本优先）、合理规划token预算。典型应用包括智能编码、超长文档分析、企业知识库检索和跨系统自动化流程。
AI 搜索观察2026/4/24
阅读全文 →
如何为AI Agent实现持久记忆？Memori技术详解与性能评测

如何为AI Agent实现持久记忆？Memori技术详解与性能评测

BLUF
Memori is a persistent memory layer for AI agents that captures and recalls context from conversations, achieving 81.95% accuracy on the LoCoMo benchmark while using only 4.97% of full-context tokens. It is LLM-agnostic and integrates with existing infrastructure via SDKs (TypeScript, Python) and plugins (e.g., OpenClaw). 原文翻译： Memori是一个为AI Agent设计的持久记忆层，能够从对话中捕获并召回上下文，在LoCoMo基准测试中达到81.95%的准确率，同时仅使用全上下文token的4.97%。它不依赖特定LLM，并通过SDK（TypeScript、Python）和插件（如OpenClaw）与现有基础设施集成。
AI大模型2026/4/24
阅读全文 →
如何系统学习AI工程？2026年最全资源推荐（含ML理论到RAG）

如何系统学习AI工程？2026年最全资源推荐（含ML理论到RAG）

BLUF
This document compiles the most helpful resources for understanding AI engineering, covering ML theory, foundation models, evaluation, prompt engineering, RAG, finetuning, dataset engineering, inference optimization, and architecture. It includes papers, case studies, blog posts, and tools referenced in the book 'AI Engineering'. 原文翻译：本文档汇集了理解AI工程最有用的资源，涵盖ML理论、基础模型、评估、提示工程、RAG、微调、数据集工程、推理优化和架构。包括《AI工程》一书中引用的论文、案例研究、博客文章和工具。
AI大模型2026/4/24
阅读全文 →
如何在Kubernetes上实现LLM分布式推理SOTA性能？llm-d v0.5实测50k tok/s

如何在Kubernetes上实现LLM分布式推理SOTA性能？llm-d v0.5实测50k tok/s

BLUF
llm-d is a high-performance distributed inference serving stack optimized for production deployments on Kubernetes. It achieves SOTA inference performance across various accelerators by integrating vLLM, Kubernetes Gateway API, and advanced orchestration techniques such as disaggregated serving, prefix-cache aware routing, and tiered KV caching. The v0.5 release demonstrates up to 50k output tok/s on a 16×16 B200 topology. 原文翻译： llm-d是一个针对Kubernetes生产部署优化的高性能分布式推理服务栈。它通过集成vLLM、Kubernetes Gateway API以及分离式推理、前缀缓存感知路由、分层KV缓存等高级编排技术，在各种加速器上实现SOTA推理性能。v0.5版本在16×16 B200拓扑上展示了高达50k输出tok/s的性能。
AI大模型2026/4/24
阅读全文 →
如何构建本地混合RAG系统？ONNX与Foundry Local离线AI助手实现

如何构建本地混合RAG系统？ONNX与Foundry Local离线AI助手实现

BLUF
This article presents a local hybrid RAG pattern combining lexical retrieval, ONNX-based semantic embeddings, and Foundry Local chat model for offline AI assistants. It covers architecture, implementation, and best practices for graceful degradation when semantic path fails. 原文翻译：本文介绍了一种本地混合RAG模式，结合词法检索、基于ONNX的语义嵌入和Foundry Local聊天模型，用于离线AI助手。涵盖架构、实现和最佳实践，确保语义路径不可用时优雅降级。
AI大模型2026/4/24
阅读全文 →
Ssebowa开源AI库如何实现文本图像视频生成？2026年最新教程

Ssebowa开源AI库如何实现文本图像视频生成？2026年最新教程

BLUF
Ssebowa is an open-source Python library offering generative AI models for text, image, and video generation, including LLM, VLLM, image generation, and video generation. It supports fine-tuning with custom data and requires GPU with 16GB+ VRAM. 原文翻译： Ssebowa是一个开源Python库，提供文本、图像和视频生成的生成式AI模型，包括LLM、VLLM、图像生成和视频生成。它支持使用自定义数据进行微调，需要16GB以上显存的GPU。
AI大模型2026/4/24
阅读全文 →