Поиск по базе знаний
Как проверить, что задачи находят нужные документы, и что делает пересборка поиска.
Задача ищет в папке подходящие фрагменты вместо чтения всех файлов. На странице поиска видны готовность индекса, отставание по папкам и запросы задач.
Меню — «Библиотека → Поиск», заголовок страницы — «Поиск по библиотекам». Страница охватывает и общую базу знаний, и личные библиотеки пользователей: это прямо сказано в подписи «Папки индекса (включая пользовательские)».
Готова ли база знаний к работе
Блок «Состояние корпуса» показывает четыре показателя.
- «Файлы (готовы к поиску)» — сколько документов из всех задача уже может найти, в том числе доля в процентах. Рядом мелким шрифтом — сколько «в очереди» и «в обработке».
- «Саммари готовы» — по скольким документам готово краткое изложение содержимого. Это число всегда догоняет первое: документ находится поиском раньше, чем по нему готово описание.
- «Проблемные файлы» — сумма ошибок и отложенных документов. Что с ними делать — на странице Обработка документов.
- «Папки индекса (включая пользовательские)» — сколько папок собрано из всех. Мелким шрифтом: сколько «грязных» (содержимое менялось, поиск отстал), сколько «собирается» и сколько «с ошибкой».
Ниже — строка «Скорость обработки»: сколько документов в час портал добавляет в поиск и сколько описаний составляет. Когда есть незаконченные сборки, рядом появляется «суммарный ETA» — оценка времени обработки очереди по текущей скорости портала.
Кнопка «Показать историю сборок» разворачивает список последних пересборок: какая папка,
когда закончилась, сколько заняла и чем кончилась — ok, «частично», «таймаут», «ошибка»
или «прервана рестартом».
Состояние отдельных папок
Таблица «Статус индексов папок» показывает по строке на папку.
Столбец «Статус»:
- «Проиндексировано» — поиск по папке собран и актуален;
- «Требует пересборки» — содержимое менялось после последней сборки;
- «Индексируется...» — сборка идёт прямо сейчас.
Столбец «Векторы» говорит, доступен ли по этой папке поиск по смыслу — то есть будет ли документ найден, когда слов запроса в нём нет:
- «есть» — доступен;
- «устарело» или «неполные» — папку стоит пересобрать;
- «без векторов» и «нет индекса» — по этой папке ищут только по совпадению слов;
- прочерк и пометка «Гибридный поиск выключен» рядом с заголовком — поиск по смыслу на этом портале не подключён вообще, и это не поломка папки.
Остальные столбцы: «Уникальных / файлов» (документы с одинаковым содержимым портал считает за один и подписывает, сколько было дублей), «Прогресс» текущей сборки с оценкой времени, «В очереди» — сколько накопилось изменений, «Собран» — когда папку собирали в последний раз, «Размер» и «Ошибка».
Если таблица пуста, портал пишет: «Нет папок. Индексация начнётся автоматически.» Ничего запускать не нужно.
Пересобрать поиск
Портал пересобирает поиск сам. Руками это нужно в двух случаях: папка давно висит в «Требует пересборки» или в столбце «Ошибка» стоит текст, и вы хотите повторить попытку.
- Одна папка — кнопка «Пересобрать» в её строке. Портал ответит, что папка поставлена в очередь.
- Все отставшие разом — кнопка «Пересобрать устаревшие» в шапке страницы. Портал ответит «Поставлено в очередь: N папок».
Пересборка — общая очередь
Очередь на пересборку общая, и папки собираются строго по одной: пока идёт ваша, остальные ждут. Сколько ждать — смотрите «суммарный ETA» и «Скорость обработки» в блоке «Состояние корпуса»: пересборка большой базы знаний целиком растягивается на часы.
Кнопка «Обновить» рядом ничего не пересобирает — она просто перечитывает цифры на странице.
Проверить поиск на живом запросе
Блок «Probe-запрос (отладка)» спрашивает у базы знаний то же, что спросит задача, и показывает ответ, ничего не запуская.
Выберите папку в списке «Выберите папку...».
Введите запрос. Подсказка в поле советует искать основой слова — «расторж», «догов»: так находится больше форм одного слова.
Нажмите «Выполнить». Результаты появятся ниже вместе с расшифровкой пометок.
Каждый найденный кусок помечен тем, как он нашёлся: [слова] — по совпадению слов запроса,
[смысл] — по смыслу, даже если слов запроса в документе нет, [слова+смысл] — обоими
способами. Если пометок нет, поиск по этой папке шёл только по словам.
Если проба находит нужный фрагмент, причина жалобы «задача не видит документ» находится не в базе знаний.
Что искали задачи
Внизу страницы — «Последние поисковые запросы»: настоящие запросы, которые задавали задачи и чаты. Столбцы: «Запрос», «Источник», «Провайдер», «Режим», «Хитов», «0-result», «Latency», «Папки» и «Время». Столбец «Источник» ведёт на задачу или чат, из которого пришёл запрос. Значок в конце строки открывает окно «Детали записи поиска» с полным текстом запроса, списком папок и найденными кусками.
Над таблицей — отбор: по провайдеру, флажок «Только 0-result», две даты «С … по …» и ссылка «Сбросить фильтры», когда что-то выставлено. Флажок «Только 0-result» оставляет запросы, не нашедшие ничего, — по ним видно, каких документов в базе знаний не хватает.
Четыре числа под заголовком страницы — «Всего запросов», «Доля 0-результатов», «Средняя латентность» и «Реранк OK» — считаются по всей накопленной истории и на отбор в таблице не реагируют. «Реранк OK» — в скольких случаях из тех, где портал пробовал переупорядочить найденное по смыслу, это получилось.
Если что-то пошло не так
Задача жалуется, что не нашла документ. Прогоните тот же запрос пробой по нужной папке. Нашлось — проблема не в базе знаний, а в привязке папки к типу задачи. Не нашлось — проверьте статус папки в таблице и, если он «Требует пересборки», пересоберите её.
Папка давно «Требует пересборки». Посмотрите столбец «Ошибка» в её строке: там текст последней неудачи. Нажмите «Пересобрать» и следите за столбцом «Прогресс».
Доля 0-результатов резко выросла. Откройте запросы с флажком «Только 0-result»: чаще всего это значит, что нужные документы в базу знаний просто не загружены.