@[toc]

6. Advisor 对话拦截

Advisor对话拦截

Spring AI 利用面向切面的思想提供 Advisors API , 它提供了灵活而强大的方法来拦截、修改和增强 Spring 应用程序中的 AI 驱动交互。

Advisor 接口提供了CallAdvisor和组成CallAdvisorChain(适用于非流式场景),以及StreamAdvisor和 (StreamAdvisorChain适用于流式场景)。它还包括ChatClientRequest,用于表示未密封的 Prompt 请求,以及 ,ChatClientResponse用于表示聊天完成响应。

日志拦截:

由于整个对话过程是一个“黑盒”, 不利于我们调试, 可以通过SimpleLoggerAdvisor拦截对话记录可以帮助观察我们发了什么信息给大模型便于调试。

  1. 设置defaultAdvisors
@SpringBootTest
public class AdvisorTest {

    ChatClient chatClient;
    @BeforeEach
    public  void init(@Autowired
                      DeepSeekChatModel chatModel) {
        chatClient = ChatClient
                .builder(chatModel)
        // 在构造器当中设置拦截器,构造器当中设置的拦截器,是使用该构造器对话都会生效
                .defaultAdvisors(
                        new SimpleLoggerAdvisor()
                )
                .build();
    }
    @Test
    public void testChatOptions() {
        String content = chatClient.prompt()
                .user("Hello")
                .advisors() // 在其中的某个对话当中设置拦截器,对话中,只会在对话当中生效
                .call()
                .content();
        System.out.println(content);
    }

    ChatClient chatClient;
    @BeforeEach
    public  void init2(@Autowired
                      DeepSeekChatModel chatModel) {
        chatClient = ChatClient
                .builder(chatModel)
        // 在构造器当中设置拦截器,构造器当中设置的拦截器,是使用该构造器对话都会生效
                .defaultAdvisors(
                        new SimpleLoggerAdvisor(),
                    // 可以设置多个拦截器,除非敏感词就会报一个错误的,也可以定义
                    new SafeGuardAdvisor(List.of("过滤敏感词"))
                )
                .build();
    }
}
  1. 设置日志级别(注意:需要设置日志级别才会生效,拦截器才会生效)
logging.level.org.springframework.ai.chat.client.advisor=DEBUG

日志中就记录了
request: 请求的日志信息

response: 响应的信息

自定义拦截:

重读(Re2)

重读策略的核心在于让LLMs重新审视输入问题,这借鉴了人类解决问题的思维方式。通过这种方式,LLMs能够更深入地理解问题,发现复杂的模式,从而在各种推理任务中表现得更加强大。

{Input_Query}
再次阅读问题:{Input_Query}

可以基于BaseAdvisor来实现自定义Advisor, 他实现了重复的代码 提供 模板方法让我们可以专注自己业务编写即可。

/**
 */
// 实现 BaseAdvisor 接口,其中该 BaseAdvisor 已经是已经继承了CallAdvisor,StreamAdvisor 同时做了增强
public class ReReadingAdvisor implements BaseAdvisor {

	private static final String DEFAULT_USER_TEXT_ADVISE = """
      {re2_input_query}
      Read the question again: {re2_input_query}
      """;

    // 表示设置优先级别, 0 是最高的
	@Override
	public int getOrder() {
		return 0;
	}

	@Override
	public ChatClientRequest before(ChatClientRequest chatClientRequest, AdvisorChain advisorChain) {
		// 获得用户(用户上一秒)输入文本内容
		String inputQuery = chatClientRequest.prompt().getUserMessage().getText();

		// 定义重复输入模版
		String augmentedSystemText = PromptTemplate.builder().template(DEFAULT_USER_TEXT_ADVISE).build()
				.render(Map.of("re2_input_query", inputQuery));

		// 设置请求的提示词
		ChatClientRequest processedChatClientRequest =
				// 不保留
				ChatClientRequest.builder()
				.prompt(Prompt.builder().content(augmentedSystemText).build())
				.build();
		return processedChatClientRequest;
	}

	@Override
	public ChatClientResponse after(ChatClientResponse chatClientResponse, AdvisorChain advisorChain) {
		//我们不做任何处理
		return chatClientResponse;
	}
}

测试:

@SpringBootTest
public class AdvisorTest {

    ChatClient chatClient;
    @BeforeEach
    public  void init(@Autowired
                      DeepSeekChatModel chatModel) {
        chatClient = ChatClient
                .builder(chatModel)
                .defaultAdvisors(
                        new SimpleLoggerAdvisor()
                )
                .build();
    }
    @Test
    public void testChatOptions() {
        String content = chatClient.prompt()
                .user("中国有多大?")
                .advisors(new ReReadingAdvisor())
                .call()
                .content();
        System.out.println(content);
    }
}
原理

记住!

Advisor只有结合ChatClient才能用! 是SpringAi上层提供的。 模型底层并没有这个东西

最后:

本站提供的所有下载资源均来自互联网,仅提供学习交流使用,版权归原作者所有。如需商业使用,请联系原作者获得授权。 如您发现有涉嫌侵权的内容,请联系我们 邮箱:[email protected]