第4章:在LangChain中如何实现响应式流(Response Streaming)

对于ChatLanguageModel和LanguageModel接口，LangChain4j提供了对应的StreamingChatLanguageModel和StreamingLanguageModel接口。这些接口的API类似，但支持流式传输响应。它们接受一个实现了StreamingResponseHandler接口的对象作为参数。// 当生成下一个token时调用default void o

一起学开源

1803人浏览 · 2025-02-20 20:22:43

一起学开源 · 2025-02-20 20:22:43 发布

文章介绍了 LangChain4j 中的响应流式传输（Response Streaming）功能，展示了如何通过低层次的 LLM（大语言模型）API 实现逐个令牌（token）的流式响应。

响应式流（Response Streaming）

注意：本页面描述的是使用低级LLM API实现响应式流。如果需要使用高级LLM API，请参考AI服务部分。

语言模型（LLM）是逐token生成文本的，因此许多LLM提供商提供了逐token流式传输响应的功能，而不是等待整个文本生成完成。这种机制显著提升了用户体验，因为用户无需等待未知的时间，几乎可以立即开始阅读响应内容。

概述

public interface StreamingResponseHandler<T> {
    void onNext(String token);  // 当生成下一个token时调用

    default void onComplete(Response<T> response) {}  // 当LLM完成生成时调用

    void onError(Throwable error);  // 当发生错误时调用
}

基于Model的实现

通过实现StreamingResponseHandler接口，你可以定义以下事件的行为：

生成下一个token时：调用onNext(String token)方法。例如，你可以立即将token发送到用户界面。
LLM完成生成时：调用onComplete(Response response)方法。其中，T在StreamingChatLanguageModel中代表AiMessage，在StreamingLanguageModel中代表String。Response对象包含完整的响应内容。
发生错误时：调用onError(Throwable error)方法。

以下是一个使用StreamingChatLanguageModel实现流式响应的示例：

StreamingChatLanguageModel model = OpenAiStreamingChatModel.builder()
    .apiKey(System.getenv("OPENAI_API_KEY"))  // 设置API密钥
    .modelName(GPT_4_O_MINI)  // 设置模型名称
    .build();

String userMessage = "Tell me a joke";  // 用户消息

model.generate(userMessage, new StreamingResponseHandler<AiMessage>() {
    @Override
    public void onNext(String token) {
        System.out.println("onNext: " + token);  // 每次生成token时打印
    }

    @Override
    public void onComplete(Response<AiMessage> response) {
        System.out.println("onComplete: " + response);  // 完成时打印完整响应
    }

    @Override
    public void onError(Throwable error) {
        error.printStackTrace();  // 发生错误时打印堆栈
    }
});

使用Lambda表达式简化流式响应

为了更简洁地实现流式响应，LangChain4j提供了一个工具类LambdaStreamingResponseHandler。这个类提供了静态方法，可以通过Lambda表达式创建StreamingResponseHandler。使用Lambda表达式实现流式响应非常简单，只需调用onNext()静态方法，并定义如何处理token：

import static dev.langchain4j.model.LambdaStreamingResponseHandler.onNext;

model.generate("Tell me a joke", onNext(System.out::print));  // 使用Lambda表达式直接打印token

此外，onNextAndError()方法允许同时定义onNext()和onError()事件的行为：

import static dev.langchain4j.model.LambdaStreamingResponseHandler.onNextAndError;

model.generate("Tell me a joke", onNextAndError(System.out::print, Throwable::printStackTrace));

总结

这篇文章介绍了LangChain4j中如何实现响应式流（Response Streaming），即逐token接收LLM生成的内容，而不是等待整个响应完成。这种方式显著提升了用户体验，尤其是在处理长文本生成时。文章的核心内容包括：

响应式流的原理：LLM逐token生成文本，通过流式传输可以立即向用户展示部分结果。
StreamingResponseHandler接口：通过实现这个接口，可以定义如何处理每个token、完成事件和错误事件。
实现示例：展示了如何使用StreamingChatLanguageModel和StreamingResponseHandler实现流式响应。
Lambda表达式简化：通过LambdaStreamingResponseHandler，可以使用Lambda表达式更简洁地实现流式响应。
这种流式传输机制特别适用于需要实时展示生成内容的场景，例如聊天机器人、实时翻译或内容生成应用。

导读说明：
这是LangChain开发智能体的系列文档，欢迎连读