分享开发技术

开发基于大模型的RAG应用时，文本拆分是一个非常基础的功能。在拆分一个大文本时我们往往会要求拆分效率高并且拆分后的chunk语义完整，完整的语义对后面检索出精确的内容非常有意义。

UTCP是一个工具调用协议，全称是 Universal Tool Calling Protocol，相比于前段时间火热的MCP（Model Context Protocol）协议，它提供了更简单灵活的工具调用方式，它使 AI 代理和应用程序能够使用其本机协议直接发现和调用工具而无需封装成服务器。

在基于大模型的聊天应用中，会话取消或者中断是一个基本功能，下面是基于 asyncio.Event() 实现的会话取消/中断功能。

SGLang是一个针对大语言模型和视觉语言模型的快速高效的服务框架，它的功能与vllm类似，用于部署开源模型，并提高模型的推理速度。

下面是使用Python实现的一个基于sse协议的mcp server和mcp client.

opneai发布了一款agent框架openai-agents，它是一个轻量但功能强大的多智能体框架，这边文章介绍下它的使用。

ango 是一个用于创建多模态 agent 应用的轻量 python 库，可以构建处理文本、图像、音频和视频的 agent 应用，在需要时也可以向 ango 构建的应用中添加记忆、知识库、工具等模块。

下面是基于通义千问大模型实现的一个 ReAct Agent demo，它的功能是可以调用多个工具并返回结果，就类似于调用大模型接口时传入 tools 参数.

之前的博客中总结了使用 LangChain、LangGraph 等 Python 库开发 AI Agent 的相关代码，这篇博客总结了如何开发一个 AI Agent 应用，包括一个 Agent 应用应该有哪些功能模块和服务端架构。

这篇博客是一篇译文，汇总了下面两篇文章的主要内容，介绍了常用的大语言模型微调技术，以及如何使用 LoRA 和 QLoRA 等技术微调大语言模型。原文地址为：

https://www.mercity.ai/blog-post/fine-tuning-llms-using-peft-and-lora

https://www.mercity.ai/blog-post/guide-to-fine-tuning-llms-with-lora-and-qlora