Ассистент корпоративного юриста на базе LLM с использованием RAG: перспективы, проблемы и оценка качества на примере нефтегазовых НПА

Корпоративные юристы в своей работе сталкиваются с необходимостью работать с огромным объемом постоянно изменяющихся нормативных правовых актов —свыше 12,4 тысяч основных федеральных документов только в нефтегазовой отрасли. Традиционные справочные поисковые системы (СПС) зачастую не находят нужные документы по сутевым запросам, при их использовании требуется значительное время на поиск и анализ нужной информации.

Генеративный ИИ дополняет СПС аналитическим функционалом, сокращая время на поиск и подготовку ответов. LLM-ассистенты могут помочь в анализе НПА, договоров и судебной практики. Первые попытки использования общих LLM на практике привели к скандалам из-за галлюцинаций, но RAG-системы уже обеспечивают более обоснованные ответы.

Основные проблемы RAG включают нерелевантность и неточность извлечения информации. В юридическом домене это усугубляется терминологической многозначностью и сложными логическими конструкциями. Популярные фреймворки не подходят для внедрения RAG-систем из-за низкой гибкости при кастомизации, поэтому требуется создание специализированных пайплайнов.

Тестирование разработанной «ВЫГОН Консалтинг» RAG-системы на 500 федеральных НПА показало значительный прогресс по сравнению с 2024 г. Оптимизация ранжирования повысила точность до 77% против 64% при гибридном поиске. Наше решение уже хорошо справляется с фактологическими вопросами, однако при анализе ситуаций доля правильных ответов оказывается ниже 75%, требуется доработка пайплайна.

В целом можно сделать вывод, что к 2025 году RAG-решения на базе LLM достигли качества, достаточного для практического применения юристами, как минимум в качестве интеллектуальной надстройки СПС для поиска и анализа информации.