Старинную книгу нельзя просто положить на сканер и нажать кнопку: корешок треснет, страницы порвутся, а старые буквы не распознает ни одна программа. Рассказываем, как оцифровка книг прошла путь от одного текста, набранного вручную, до десятков миллионов отсканированных томов и почему сегодня она нужна не только библиотекам.
С чего всё началось
Первой электронной книгой считают Декларацию независимости США. 4 июля 1971 года студент Майкл Харт набрал её текст на компьютере и разослал пользователям сети. Так появился проект «Гутенберг», который за полвека собрал почти 78 000 бесплатных электронных книг.
Настоящий размах пришёл с Google. Проект начался в 2002 году под кодовым названием Project Ocean, а в 2004-м компания договорилась о сканировании фондов с Гарвардом, Стэнфордом, Мичиганским университетом, Бодлианской библиотекой Оксфорда и Нью-Йоркской публичной библиотекой. К 2019 году в Google Books было больше 40 миллионов отсканированных книг.
Свою сеть сканеров построил и некоммерческий Internet Archive. На его станциях книгу снимают две камеры, по одной на каждую страницу разворота, а листает её человек. Крупные библиотеки, от Ватиканской до национальных библиотек Европы, тоже выкладывают рукописи и редкие издания в открытый доступ.
Как сканируют книгу, которой триста лет
- Реставратор оценивает состояние: подклеивает надрывы и решает, можно ли вообще раскрывать книгу.
- Книгу кладут в V-образную колыбель, которая держит её раскрытой под углом, не разгибая корешок до конца.
- Страницу прижимают стеклом и снимают сверху камерами при ровном холодном свете, который не греет бумагу.
- Листы переворачивают вручную или специальным потоком воздуха, если у сканера есть автоматика.
- Каждый кадр проверяют на резкость и искажения, а изгиб страницы выпрямляют программой.
У Google, например, книги снимали две камеры, а изгиб страниц считывали инфракрасным светом и лазерной сеткой, чтобы не прижимать бумагу. Оператор переворачивал листы руками и нажимал педаль, и так за час получалось около тысячи страниц. Архивные копии обычно делают с разрешением от 300 до 600 точек на дюйм и хранят без сжатия, чтобы через годы сделать из тех же снимков новые версии под другие задачи.
Фотография ещё не текст
Снимок страницы нужно превратить в текст, по которому можно искать. Со старыми книгами программы распознавания ошибаются постоянно: готический шрифт, лигатуры и длинная «s», похожая на «f», сбивают алгоритм. В русских книгах до реформы 1918 года встречаются ять, фита, і и ижица, и для программы такой текст выглядит почти как другой язык. Поэтому распознанный текст вычитывают люди, а к каждой книге добавляют описание: автора, год, место издания и состояние экземпляра.
Текст, который не видно глазом
Самая известная история оцифровки связана с Архимедом. В Средние века его трактаты стёрли с пергамента и записали поверх молитвенник. В 1998 году эту рукопись продали на аукционе Christie's за 2 миллиона долларов, а с 1999 по 2008 год её изучали в музее Уолтерса в Балтиморе. Страницы сняли в 12 спектральных диапазонах, от ультрафиолета до инфракрасного, а участки под поддельными рисунками просветили рентгеном на ускорителе в Стэнфорде. Так прочли тексты Архимеда, которых до этого никто не видел.
Зачем это нужно сегодня
Оцифровка спасает книги от износа: читатель листает файл, а оригинал лежит в хранилище. Но появилась и новая причина. Языковым моделям нужны большие и точные массивы текстов, и старые книги с выверенными текстами ценятся выше случайных страниц из интернета. А ещё цифровая копия переживает пожары и войны, которые не раз уничтожали библиотеки вместе с единственными экземплярами книг.
Особенно это заметно в праве. В Харькове, например, оцифровывают библиотеку Национального юридического университета имени Ярослава Мудрого: в ней 26 000 редких изданий, больше 10 000 уже обработано, около 16 000 ждут своей очереди. Из этих страниц собирают Legal AI Corpus, набор данных для обучения юридического ИИ. Кто ведёт эту работу, рассказывает наш материал «Сергей Петрик в цифрах».
А тем, кто любит библиотеки не только в цифре, понравится наша подборка самых красивых библиотек мира.
