В рамках проекта по оптимизации экспертной оценки заявок на социальные конкурсы было разработано комплексное ИИ-решение на базе современной LLM-модели Gemma 3 (27B параметров). Решение консолидирует большие массивы текстовых данных из гетерогенных источников: исторических заявок, экспертных оценок и справочных методик. Глубина анализа — заявки за последние 3 года (500–700 документов ежегодно), что обеспечивает репрезентативную выборку для выявления паттернов плагиата и качественной оценки по 10+ критериям.
Архитектура данных и логика обработки текстов
Основой решения стала RAG-архитектура (Retrieval-Augmented Generation) с векторным хранилищем FAISS. Ключевой особенностью является многоэтапный пайплайн обработки:- Векторизация текста: Все ключевые разделы заявок (название, описание, цели, задачи, показатели) преобразуются в эмбеддинги с помощью sentence-transformers/distiluse-base-multilingual-cased-v2. Это позволяет семантически сравнивать тексты независимо от лексических вариаций.
- Поиск релевантных документов: Для новой заявки FAISS находит топ-5 исторических заявок того же участника по косинусной близости; порог схожести > 0.85. В потенциальном плагиате выделяются совпадающих фрагменты (HTML-метки ).
- Генерация оценки: LLM (Gemma 3 27b) анализирует полученные документы + историю оценок конкретного эксперта, выдавая баллы по 10 критериям (соответствие методологии, социальная значимость и т.д.) с текстовым обоснованием.
Система ключевых показателей и методология расчетов
Аналитическое ядро рассчитывает более 30 метрик, охватывающих уникальность, качество и согласованность:Проверка на плагиат и оригинальность:
- Интегральный % схожести: Средневзвешенный по 11 ключевым разделам (название, цели, задачи и т.д.); формула: similarity= (∑w_i ⋅cos((e⃗)_(new) ,(e⃗)_(old) ))/(∑w_i ), где w_i — вес раздела.
- Точность плагиата: 92% (F1-score на тестовом датасете 200 пар заявок).
- Корреляция ИИ-эксперт: R² = 0.87 между предсказаниями и экспертными баллами.
- Упущенные риски: Выявление несоответствий (например, >30% схожести с прошлыми проектами).
Решение предлагает инструменты для динамической экспертизы:
- Модуль рекомендаций: Автогенерация баллов + обоснований; целевой уровень уверенности >80%.
- "Что-если" моделирование: Изменение входов (текст заявки, веса критериев) -> пересчет баллов в реальном времени.
- API-интеграция: REST endpoints (/application-score, /expert-evaluation) для бесшовного подключения к основной системе; фиксация оценок эксперта обновляет персональный контекст LLM.
Бизнес-эффекты от внедрения
Внедрение ИИ-ассистента достигло измеримых результатов:1. Сокращение времени экспертизы на 50%. С 20 до 10 дней за счет автоматизированной предобработки и проверки плагиата.
2. Рост пропускной способности на 40%. Обработка 500–700 заявок без доп. экспертов; точность плагиата 92% минимизировала ручные проверки.
3. Повышение объективности. Корреляция ИИ-эксперт R²=0.87; снижение субъективности на 35% (по вариации баллов).
4. Экономия ресурсов. Высвобождение 60% времени экспертов (с 3 на заявку -> 1.2).
Внедрение позволило перейти от ручной экспертизы к гибридной ИИ-человеческой системе, обеспечивая прозрачность, скорость и точность обработки заявок.
