Kalosm v0.2.0发布：AI智能体RAG工作流如何优化？2025最新功能详解 | Geoz.com.cn

We are thrilled to announce the release of Kalosm v0.2.0! This major update introduces a suite of powerful new features, significant improvements, and critical bug fixes designed to enhance the development of robust, intelligent applications. This release marks a substantial step forward in making advanced language model operations more accessible, efficient, and controllable.

我们非常高兴地宣布 Kalosm v0.2.0 正式发布！此次重大更新引入了一系列强大的新功能、显著的改进和关键的错误修复，旨在增强构建健壮、智能应用程序的开发体验。此版本标志着在使高级语言模型操作变得更易用、更高效、更可控方面迈出了实质性的一步。

核心新特性概览

任务与智能体框架

Kalosm now includes a comprehensive set of utilities for creating, running, evaluating, and iteratively improving tasks and agents. This framework provides a structured approach to building complex, multi-step workflows powered by language models.

Kalosm 现在包含了一套完整的工具集，用于创建、运行、评估和迭代改进任务与智能体。该框架为构建由语言模型驱动的复杂、多步骤工作流提供了一种结构化方法。

Key capabilities include:

• 任务执行与会话复用：Tasks can efficiently reuse model sessions between runs, leading to significant performance gains for sequential operations.
• 评估抽象层：A new evaluation abstraction (#113) offers enhanced functionality for systematically measuring and comparing task performance.
• 提示词自动调优自动优化提示词示例集的技术，通过算法寻找最能提升任务性能的输入输出组合，减少人工调优成本。：Prompts can now be automatically optimized for better results using techniques like the PromptAnnealer (#132).

关键能力包括：

• 任务执行与会话复用：任务能够在多次运行之间高效地复用模型会话，从而为顺序操作带来显著的性能提升。
• 评估抽象层：新的评估抽象层 (#113) 为系统化测量和比较任务性能提供了增强功能。
• 提示词自动调优自动优化提示词示例集的技术，通过算法寻找最能提升任务性能的输入输出组合，减少人工调优成本。：现在可以使用如 PromptAnnealer 等技术自动优化提示词以获得更好的结果 (#132)。

提示词自动调优自动优化提示词示例集的技术，通过算法寻找最能提升任务性能的输入输出组合，减少人工调优成本。示例

As part of the RAG improvements, Kalosm includes a task that generates hypothetical questions about a text for an embedding model. We can tune this task to find the optimal set of examples using a PromptAnnealer. The annealer discovered that using the following examples yielded a higher average similarity score (0.71) compared to random examples (0.62).

作为 RAG 改进的一部分，Kalosm 包含了一个为嵌入模型生成关于文本的假设性问题的任务。我们可以使用 PromptAnnealer 来调整此任务，以找到最佳示例集。调优器发现，使用以下示例相比随机示例能获得更高的平均相似度分数（0.71 对 0.62）。

最佳示例集：

• 输入：While traditional databases rely on a fixed schema, NoSQL databases like MongoDB offer a flexible structure...
• 输出：How does MongoDB differ from traditional databases?
• 输入：Blockchain technology, beyond cryptocurrencies, is being explored for applications like smart contracts...
• 输出：How is blockchain technology utilized in the concept of smart contracts?

最佳示例集：

• 输入：虽然传统数据库依赖固定模式，但像 MongoDB 这样的 NoSQL 数据库提供了灵活的结构...
• 输出：MongoDB 与传统数据库有何不同？
• 输入：区块链技术，除了加密货币，正在被探索用于智能合约等应用...
• 输出：区块链技术如何在智能合约的概念中被利用？

正则表达式验证

In response to feedback that constraint-based generation could be complex, we've introduced first-class support for regex validation. Constraints in Kalosm serve two primary purposes: validating model output and parsing it into structured data. For use cases that only require validation, the new regex functionality offers a much simpler and more intuitive interface.

针对基于约束的生成可能较为复杂的反馈，我们引入了一流的正则表达式验证支持。Kalosm 中的约束有两个主要目的：验证模型输出和将其解析为结构化数据。对于仅需要验证的用例，新的正则表达式功能提供了一个更简单、更直观的接口。

示例：强制模型响应以特定前缀开头

// 使用正则表达式进行简单验证
let constraint = RegexParser::new(r"^Answer: .*")?;

示例：强制模型响应以特定前缀开头

// 使用正则表达式进行简单验证
let constraint = RegexParser::new(r"^Answer: .*")?;

Surreal 数据库集成

While vector databases excel at semantic search, they cover a limited set of use cases. Kalosm 0.2.0 integrates Surreal DB, a versatile database that can be embedded locally or used over a network. This integration allows you to create tables indexed by vectors, enabling hybrid data storage and retrieval that combines traditional and semantic querying capabilities.

虽然向量数据库A database system designed to store and perform high-dimensional semantic similarity searches on vector embeddings of data.擅长语义搜索，但它们覆盖的用例有限。Kalosm 0.2.0 集成了 Surreal DB，这是一个多功能数据库，可以本地嵌入或通过网络使用。此集成允许您创建由向量索引的表，从而实现结合了传统查询和语义查询能力的混合数据存储与检索。

RAG（检索增强生成）结合信息检索和文本生成的技术，通过检索相关文档来增强大型语言模型的生成能力。改进

Significant enhancements have been made to Kalosm's RAG pipeline (#126), focusing on smarter context retrieval and management.

对 Kalosm 的 RAG 流水线进行了重大增强 (#126)，重点在于更智能的上下文检索和管理。

改进的文本分块策略

The strategy used to split documents before embedding critically impacts retrieval quality. Kalosm 0.2.0 introduces two novel chunking strategies:

在嵌入之前用于分割文档的策略对检索质量有至关重要的影响。Kalosm 0.2.0 引入了两种新颖的分块策略：

1. 假设性问题：Instead of embedding the document text directly, this strategy generates embeddings based on hypothetical questions about the document. This allows a vector database to match user queries based on semantic intent, even with little lexical overlap.
2. 摘要：This strategy generates embeddings based on document summaries, encapsulating the core meaning of larger texts into a single, information-dense vector.

1. 假设性问题：此策略不是直接嵌入文档文本，而是基于关于文档的假设性问题生成嵌入。这使得向量数据库A database system designed to store and perform high-dimensional semantic similarity searches on vector embeddings of data.能够基于语义意图匹配用户查询，即使词汇重叠很少。
2. 摘要：此策略基于文档摘要生成嵌入，将较大文本的核心含义封装到单个信息密集的向量中。

增量索引向量数据库支持动态添加新文档而无需重建整个索引的技术，适用于数据持续更新的应用场景。

The vector database now supports incremental indexing, powered by arroy (a space-efficient database backed by MeiliSearch). You can add new documents without rebuilding the entire index, which is essential for applications with dynamically updating knowledge bases.

向量数据库A database system designed to store and perform high-dimensional semantic similarity searches on vector embeddings of data.现在支持增量索引向量数据库支持动态添加新文档而无需重建整个索引的技术，适用于数据持续更新的应用场景。，由 arroy（一个由 MeiliSearch 支持的高效空间数据库）提供支持。您可以添加新文档而无需重建整个索引，这对于具有动态更新知识库的应用程序至关重要。

性能优化

Kalosm 0.2.0 delivers substantial performance gains across the stack:

Kalosm 0.2.0 在整个技术栈上实现了显著的性能提升：

• Llama 模型重写：The core Llama implementation has been rewritten for better modularity and is now 7-25% faster (#122).
• 高效采样：By sampling from only the top 512 tokens (via llm-samplers), text generation can be up to 2x faster (#123).
• 批量加载约束：Static text within structured generation constraints is now loaded in batches, restoring and improving the efficiency of constrained generation (#131).

• Llama 模型重写：核心 Llama 实现已为重写以获得更好的模块化，现在速度提高了 7-25% (#122)。
• 高效采样：通过仅从 top 512 个令牌中采样（通过 llm-samplers），文本生成速度最高可提升 2 倍 (#123)。
• 批量加载约束：结构化生成约束中的静态文本现在可以批量加载，恢复并提高了约束生成在生成过程中应用约束条件，确保模型输出符合特定格式或结构，常用于结构化数据生成和输出验证。的效率 (#131)。

新模型支持

This release expands model support with several notable additions:

• Dolphin Phi v2: A tiny yet capable chat model.
• Solar-11b Models: A suite of models for chat, text, and code generation.
• Tiny Llama 1.0: A compact set of models for chat and text generation.

此版本通过添加几个值得注意的模型扩展了支持范围：

• Dolphin Phi v2：一个微小但功能强大的聊天模型。
• Solar-11b 模型：一套用于聊天、文本和代码生成的模型。
• Tiny Llama 1.0：一组用于聊天和文本生成的紧凑模型。

总结与展望

Kalosm v0.2.0 represents a major leap forward, equipping developers with more sophisticated tools for task orchestration, prompt optimization, and hybrid data management. The focus on performance and developer experience lowers the barrier to building production-ready LLM applications.

Kalosm v0.2.0 代表了一次重大飞跃，为开发者提供了更复杂的工具，用于任务编排、提示词优化和混合数据管理。对性能和开发者体验的关注降低了构建生产就绪的 LLM 应用程序的门槛。

For a complete list of changes, please see the full changelog.

有关更改的完整列表，请参阅完整更新日志。

What's Next?
In future releases, we plan to introduce support for fine-tuning models and training new adapter heads for existing models. We will also continue to push performance boundaries and expand model support.

下一步计划？
在未来的版本中，我们计划引入对微调模型以及为现有模型训练新适配器头的支持。我们还将继续突破性能边界并扩展模型支持。

We hope you enjoy using Kalosm v0.2.0! Your feedback is invaluable. Please share your thoughts and report any issues on GitHub. If you're building with Kalosm, consider joining our Discord community.

我们希望您喜欢使用 Kalosm v0.2.0！您的反馈非常宝贵。请在 GitHub 上分享您的想法并报告任何问题。如果您正在使用 Kalosm 进行开发，欢迎加入我们的 Discord 社区。