682.
提出了一种基于滑动窗口策略的检索增强生成系统,旨在提升大语言模型(large language models,LLMs)输出的事实准确性和可靠性. 该系统通过在索引阶段应用滑动窗口机制,有效解决了传统固定大小上下文窗口和静态检索方法的局限性. 研究提出3种具体的滑动窗口策略以有效处理和分割文本,包括:固定窗口大小和固定步长分割(fixed window size and fixed step length split,FFS)、动态窗口大小和固定步长分割(dynamic window size and fixed step length split,DFS)以及动态窗口大小和动态步长分割(dynamic window size and dynamic step length split,DDS). 此外,研究还探讨了使用多查询技术进一步提高检索的准确性和相关性. 实验评估使用LLaMA-3模型在多个数据集上进行,结果表明系统在窗口大小为1 024和步长为3的配置下达到最佳性能,该配置显著提高了
F1得分,体现了在文档段长度和滑动窗口步长之间保持平衡的重要性. 滑动窗口策略有效保留了上下文信息,减少了信息丢失,并展示了在不同数据集和查询类型中的适应性.… …
相似文献