Langchain简单快速上手教程（五）——聊天模型之流式传输

《Langchain简单快速上手教程（五）——聊天模型之流式传输》是近期博客园技术区的好帖，信息密度大。下面分段讲清它的核心内容，看到结尾你就知道该怎么做了。

@ 目录 前言 一、流式传输方式 （一）stream() 同步传输 （二）astream() 异步传输 1、异步概念 2、asyncio 具体使用 二、自定义流式输出解析器 结语 前言 本期我们将要介绍的聊天模型中的流式传输。什么是流式传输？ 简单来说流式传输就是其通过逐步显示输出，甚至在完整的响应准备就绪之前显示部分输出。 相较于在这之前所学习的.invoke()方法的非流式输出，其输出内容是全量返回的，需要所有内容准备就绪后才一并进行输出。因此导致了用户等待输出时间长的问题。而流式输出的能力将有效改善用户的体验。 一、流式传输方式 （一）stream() 同步传输 在 LangChain 聊天模型中，可以使用其 .stream() 方法，来同步地生成流式响应的效果。

@ 目录 前言 一、流式传输方式 （一）stream() 同步传输 （二）astream() 异步传输 1、异步概念 2、asyncio 具体使用 二、自定义流式输出解析器 结语 前言 本期我们将要介绍的聊天模型中的流式传输。什么是流式传输？ 简单来说流式传输就是其通过逐步显示输出，甚至在完整的响应准备就绪之前显示部分输出。 相较于在这之前所学习的.invoke()方法的非流式输出，其输出内容是全量返回的，需要所有内容准备就绪后才一并进行输出。因此导致了用户等待输出时间长的问题。而流式输出的能力将有效改善用户的体验。 一、流式传输方式 （一）stream() 同步传输 在 LangChain 聊天模型中，可以使用其 .stream() 方法，来同步地生成流式响应的效果。而 .stream() 方法返回的是一个迭代器，该迭代器在生成输出时同步产生输出消息块。

@ 目录 前言 一、流式传输方式 （一）stream() 同步传输 （二）astream() 异步传输 1、异步概念 2、asyncio 具体使用 二、自定义流式输出解析器 结语 前言 本期我们将要介绍的聊天模型中的流式传输。什么是流式传输？ 简单来说流式传输就是其通过逐步显示输出，甚至在完整的响应准备就绪之前显示部分输出。 相较于在这之前所学习的.invoke()方法的非流式输出，其输出内容是全量返回的，需要所有内容准备就绪后才一并进行输出。因此导致了用户等待输出时间长的问题。而流式输出的能力将有效改善用户的体验。 一、流式传输方式 （一）stream() 同步传输 在 LangChain 聊天模型中，可以使用其 .stream() 方法，来同步地生成流式响应的效果。而 .stream() 方法返回的是一个迭代器，该迭代器在生成输出时同步产生输出消息块。 [代码示例略] 通过调试，可看到chunk其实是一个叫做 AIMessageChunk 的东西，它代表 AIMessage 的一部分，也就是消息块。

@ 目录 前言 一、流式传输方式 （一）stream() 同步传输 （二）astream() 异步传输 1、异步概念 2、asyncio 具体使用 二、自定义流式输出解析器 结语 前言 本期我们将要介绍的聊天模型中的流式传输。什么是流式传输？ 简单来说流式传输就是其通过逐步显示输出，甚至在完整的响应准备就绪之前显示部分输出。 相较于在这之前所学习的.invoke()方法的非流式输出，其输出内容是全量返回的，需要所有内容准备就绪后才一并进行输出。因此导致了用户等待输出时间长的问题。而流式输出的能力将有效改善用户的体验。 一、流式传输方式 （一）stream() 同步传输 在 LangChain 聊天模型中，可以使用其 .stream() 方法，来同步地生成流式响应的效果。而 .stream() 方法返回的是一个迭代器，该迭代器在生成输出时同步产生输出消息块。 [代码示例略] 通过调试，可看到chunk其实是一个叫做 AIMessageChunk 的东西，它代表 AIMessage 的一部分，也就是消息块。这些消息块还可以直接相加。

@ 目录 前言 一、流式传输方式 （一）stream() 同步传输 （二）astream() 异步传输 1、异步概念 2、asyncio 具体使用 二、自定义流式输出解析器 结语 前言 本期我们将要介绍的聊天模型中的流式传输。什么是流式传输？ 简单来说流式传输就是其通过逐步显示输出，甚至在完整的响应准备就绪之前显示部分输出。 相较于在这之前所学习的.invoke()方法的非流式输出，其输出内容是全量返回的，需要所有内容准备就绪后才一并进行输出。因此导致了用户等待输出时间长的问题。而流式输出的能力将有效改善用户的体验。 一、流式传输方式 （一）stream() 同步传输 在 LangChain 聊天模型中，可以使用其 .stream() 方法，来同步地生成流式响应的效果。而 .stream() 方法返回的是一个迭代器，该迭代器在生成输出时同步产生输出消息块。 [代码示例略] 通过调试，可看到chunk其实是一个叫做 AIMessageChunk 的东西，它代表 AIMessage 的一部分，也就是消息块。这些消息块还可以直接相加。 （二）astream() 异步传输 1、异步概念 关于异步方式 asyncio 之前，我们要介绍 协程和事件循环 另外两个概念。

最后提醒：每个人的环境不一样，照抄之前先小步验证。有了自己的验证结果，这篇的价值才真正归你。你怎么看？ 来源｜博客园《Langchain简单快速上手教程（五）——聊天模型之流式传输》，https://www.cnblogs.com/mengyingblog/p/22955360.html