Не только больше, но и чище

На этой неделе библиотека выросла на сотни трудов парампары — об этом коротко рассказали в дневнике канала. Но рост — только половина дела. Вот тихая работа, которую не видно в списке добавленного, но именно она делает корпус не просто больше, а чище и надёжнее. "Ноль энтропии" — это дисциплина, а не лозунг.

1. Мы восстановили повреждённые книги

Разбирая библиотеку, мы наткнулись на неприятное: часть книг хранилась в испорченной кодировке. Не "пара кракозябр", а настоящая порча — местами до восьмидесяти процентов символов превратилось в нечитаемый мусор. Такую книгу нельзя ни прочитать, ни процитировать.

Проще всего было бы махнуть рукой — книга ведь формально в библиотеке. Но движок так не работает: он не отдаёт то, в чём не уверен, поэтому битые книги честно выпадали из поиска. Их для читателя как будто не было — и это правильнее, чем отдать мусор под видом текста.

Мы нашли исходники, восстановили шесть книг дословно — с проверкой, что после починки текст снова чистый, — и вернули их в оборот. "Право молчать" здесь тоже сработало: пока книга была битой, её не было в ответах; починили — вернули. Не раньше.

2. Поиск честнее к разнообразию источников

Вторая правка — про то, как движок собирает ответ, когда источников несколько.

Раньше один большой корпус мог "перекричать" остальные: если в нём много совпадений, он занимал собой почти всю выдачу, а другие выбранные слои оставались за бортом. Для честного разбора это плохо: вы выбрали, скажем, Шрилу Прабхупаду плюс ачарьев плюс современных учителей линии — значит, хотите услышать их все, а не один самый "громкий" источник.

Теперь у каждого выбранного слоя есть гарантированное место в ответе. Точное текстовое совпадение по-прежнему в приоритете — если фрагмент буквально отвечает на вопрос, он поднимется наверх независимо от корпуса. Но при прочих равных выдача не даёт одному источнику вытеснить остальные: вы просили несколько голосов парампары — вы их и получаете.

Ни то, ни другое не попадёт в заголовки: восстановленные книги и порядок выдачи не так эффектны, как сотни новых трудов. Но именно из таких мелочей складывается доверие к инструменту. Больше — хорошо; чище — обязательно.