GEOZ

分类:AI大模型

AI大模型专栏涵盖从GPT、DeepSeek到gemini、Agentic智能体的全方位研究。深度解析RAG架构优化、KV缓存内存瓶颈解决、JSON结构化数据提取及提示工程实践(如Prompt Refiner)。本专栏还关注软件工程师转型AI研发的实用路径及AI安全风险评估,为开发者提供从基础理论到生产级系统构建的完整知识体系。

464
如何零成本使用Claude Code?2026年免费LLM代理(NVIDIA NIM/DeepSeek)全攻略

如何零成本使用Claude Code?2026年免费LLM代理(NVIDIA NIM/DeepSeek)全攻略

BLUF
free-claude-code is an open-source project that enables free use of Claude Code by proxying requests to free or low-cost model services like NVIDIA NIM, while retaining Claude Code's full engineering capabilities. Includes setup steps and model recommendations. 原文翻译: free-claude-code 是一个开源项目,它通过代理请求到 NVIDIA NIM 等免费或低成本模型服务,实现免费使用 Claude Code,同时保留 Claude Code 的全部工程能力。包含设置步骤和模型推荐。
AI大模型2026/4/25
如何同时调用OpenAI、Anthropic等多个大模型?2026年Abso库使用推荐

如何同时调用OpenAI、Anthropic等多个大模型?2026年Abso库使用推荐

BLUF
Abso is a lightweight, OpenAI-compatible JavaScript library that provides a unified interface for calling multiple LLM providers (OpenAI, Anthropic, Groq, Ollama, etc.) with full type safety. It supports chat, streaming, tool calling, and embeddings. 原文翻译:Abso是一个轻量级、兼容OpenAI的JavaScript库,为调用多个LLM提供商(OpenAI、Anthropic、Groq、Ollama等)提供统一接口,并具有完整的类型安全性。它支持聊天、流式传输、工具调用和嵌入。
AI大模型2026/4/25
如何使用Laminar开源平台监控AI智能体?2026年完整功能解析

如何使用Laminar开源平台监控AI智能体?2026年完整功能解析

BLUF
Laminar is an open-source observability platform for AI agents, offering tracing, evals, monitoring, SQL access, and dashboards. Built with Rust for high performance, it supports OpenTelemetry and integrates with major LLM frameworks. 原文翻译:Laminar是一个面向AI智能体的开源可观测性平台,提供追踪、评估、监控、SQL访问和仪表板功能。基于Rust构建以实现高性能,支持OpenTelemetry,并与主流LLM框架集成。
AI大模型2026/4/25
如何用OpenLIT一行代码为AI开发实现全栈可观测性并支持LLM、向量数据库和GPU成本追踪?2026年方案

如何用OpenLIT一行代码为AI开发实现全栈可观测性并支持LLM、向量数据库和GPU成本追踪?2026年方案

BLUF
OpenLIT simplifies AI development with one-line OpenTelemetry-native observability, supporting LLM, vector DB, and GPU monitoring, plus cost tracking and evaluation. 原文翻译:OpenLIT通过一行代码提供OpenTelemetry原生可观测性,简化AI开发,支持LLM、向量数据库和GPU监控,以及成本追踪和评估。
AI大模型2026/4/25
如何提升LLM代理推理效率?PLENA硬件系统实现吞吐量2.23倍提升(2026年)

如何提升LLM代理推理效率?PLENA硬件系统实现吞吐量2.23倍提升(2026年)

BLUF
PLENA is a hardware-software co-designed system for LLM agentic inference that addresses bandwidth and capacity memory walls. It features a flattened systolic-array architecture, asymmetric quantization, and FlashAttention support, achieving up to 2.23x and 4.70x throughput improvements over A100 GPU and TPU v6e, respectively, and 4.04x better energy efficiency than A100. 原文翻译: PLENA是一个硬件-软件协同设计的系统,针对LLM代理推理,解决带宽和容量内存墙问题。它采用扁平化脉动阵列架构、非对称量化和FlashAttention支持,相比A100 GPU和TPU v6e,吞吐量分别提升2.23倍和4.70倍,能效比A100提升4.04倍。
AI大模型2026/4/25
如何为AI Agent实现持久记忆?Memori技术详解与性能评测

如何为AI Agent实现持久记忆?Memori技术详解与性能评测

BLUF
Memori is a persistent memory layer for AI agents that captures and recalls context from conversations, achieving 81.95% accuracy on the LoCoMo benchmark while using only 4.97% of full-context tokens. It is LLM-agnostic and integrates with existing infrastructure via SDKs (TypeScript, Python) and plugins (e.g., OpenClaw). 原文翻译: Memori是一个为AI Agent设计的持久记忆层,能够从对话中捕获并召回上下文,在LoCoMo基准测试中达到81.95%的准确率,同时仅使用全上下文token的4.97%。它不依赖特定LLM,并通过SDK(TypeScript、Python)和插件(如OpenClaw)与现有基础设施集成。
AI大模型2026/4/24
如何系统学习AI工程?2026年最全资源推荐(含ML理论到RAG)

如何系统学习AI工程?2026年最全资源推荐(含ML理论到RAG)

BLUF
This document compiles the most helpful resources for understanding AI engineering, covering ML theory, foundation models, evaluation, prompt engineering, RAG, finetuning, dataset engineering, inference optimization, and architecture. It includes papers, case studies, blog posts, and tools referenced in the book 'AI Engineering'. 原文翻译:本文档汇集了理解AI工程最有用的资源,涵盖ML理论、基础模型、评估、提示工程、RAG、微调、数据集工程、推理优化和架构。包括《AI工程》一书中引用的论文、案例研究、博客文章和工具。
AI大模型2026/4/24
如何在Kubernetes上实现LLM分布式推理SOTA性能?llm-d v0.5实测50k tok/s

如何在Kubernetes上实现LLM分布式推理SOTA性能?llm-d v0.5实测50k tok/s

BLUF
llm-d is a high-performance distributed inference serving stack optimized for production deployments on Kubernetes. It achieves SOTA inference performance across various accelerators by integrating vLLM, Kubernetes Gateway API, and advanced orchestration techniques such as disaggregated serving, prefix-cache aware routing, and tiered KV caching. The v0.5 release demonstrates up to 50k output tok/s on a 16×16 B200 topology. 原文翻译: llm-d是一个针对Kubernetes生产部署优化的高性能分布式推理服务栈。它通过集成vLLM、Kubernetes Gateway API以及分离式推理、前缀缓存感知路由、分层KV缓存等高级编排技术,在各种加速器上实现SOTA推理性能。v0.5版本在16×16 B200拓扑上展示了高达50k输出tok/s的性能。
AI大模型2026/4/24