Укрощение строптивого (на самом деле, нет) FineReader

После короткого рассказа о том, как устроен ABBYY FineReader (aka «теоретическая часть»), самое время перейти к применению полученных знаний. И да, котиков под катом нет: всё очень серьёзно.
Как пользователю поучаствовать в обработке документа
Чтобы не изобретать велосипед, начну с простой и понятной схемы из Справки (см. рисунок справа).
Теперь, зная список всех операций, посмотрим на примерах – что может пойти не по плану и как с этим бороться.
Хорошо распознаются только хорошие изображения
А что делать, когда изображения есть, но не очень хорошие? Улучшить прямо в FineReader всё что можно, а, если улучшить нельзя, — попытаться получить изображение заново, устранив проблему. Поскольку тема очень обширная, то при должном интересе будет отдельный пост про то, как подружиться с автоматическими и ручными инструментами обработки изображений прямо в FineReader. Пока же ограничусь замечанием, что изображение будет обработано лучше, если оно:
- (после сканирования) не имеет выраженных геометрических искажений — перекоса или заметного изгиба страниц толстой книги у корешка двухстраничного разворота,
- (после фотографирования, в дополнение к предыдущему) не имеет ещё и нелинейных геометрических искажений («подушка», «трапеция»), имеет равномерную фокусировку (а желательно и яркость) по всей площади, не имеет шумов от недостаточной освещённости, не имеет выраженной засветки от вспышки (особенно на глянцевой бумаге).
Этап настройки документа/проекта
Можно и нужно сразу указать язык текста, параметры предобработки изображений, некоторые параметры анализа и распознавания. Вот скриншот одной из вкладок диалога настроек.
Эти и прочие настройки подробно описаны в Справке
Этап анализа
Программа автоматически выделяет области различных типов с точки зрения распознавания. На этом этапе мы можем как самостоятельно разметить области, так и поправить (при необходимости) те, что нашёл модуль Анализа.
Чтобы не писать много лишнего про инструменты работы с областями, сошлюсь на раздел Справки, а здесь объясню, что для чего, «что такое хорошо, что такое плохо» (применительно к областям) и как исправить плохой результат.
Назначение областей разных типов
В пользовательском интерфейсе FineReader доступны области нескольких типов, для них есть разные варианты скрываемой панели свойств (внизу окна «Изображение») и контекстного меню (по щелчку правой кнопкой мыши):
-
«Зона распознавания» (по умолчанию серая рамка) — такое название использовано в пользовательском интерфейсе, на мой взгляд правильнее было бы назвать «область для автоматического анализа». Назначение такой области – указать, где на странице вообще нужно искать что-то полезное. Поэтому в результате последующего анализа или анализа+распознавания в пределах каждой «зоны распознавания» может найтись ноль и более областей других типов. Особенно полезны зоны распознавания бывают в шаблонах блоков (подробнее о них в Справке).
Реальный пример из проекта оцифровки Толстого — часть страниц имеет нумерацию строк (пронумерованы строки с номерами, кратными 10), не нужную в результате и затрудняющую вычитку/правку текста, если автоматический анализ включил эти номера в текстовую область колонки. Если страницы были почти одинаково выровнены на сканере или качественно обрезаны после сканирования, то перед анализом к нужной группе страниц можно применить шаблон блоков, где область (или области) распознавания просто не содержит не нужных нам частей страницы:
Помните, что в отличие от текстовой области область распознавания может превратиться в области разных типов, что бывало нужно и в этом проекте.
Эти параметры задаются на блок, так что выделять текст разного направления или разной инверсности в один блок – другая плохая идея.
Важные соображения
- Распознавание и синтез видят только те фрагменты текста, которые оказались выделены в текстовые области или текстовые ячейки таблиц. Если кусок текста не выделен в блоки – распознаваться он не будет.
- Аналогично и с картинками — если часть картинки оказалась вне области или одна целостная картинка оказалась разделена на несколько областей – скорее всего, в результате обработки будут проблемы.
- Языки распознавания в FineReader задаются не для галочки – они влияют на очень многие механизмы, начиная уже с анализа: например, иероглифический (китайский, японский, корейский языки) или арабский текст имеют много особенностей, которые учитываются не всегда, а только при выборе соответствующих языков распознавания.
Особенности взаимодействия близкорасположенных или пересекающихся областей
-
Пересечение текстовых и табличных блоков друг с другом, если есть символы или их части, оказавшиеся в более чем одном блоке – практически всегда ошибка, такие результаты анализа нужно исправлять, тем более что обычно это делается в несколько движений мыши.
Пересечение картиночных областей друг с другом – практически всегда ошибка, хотя и менее критичная для обработки именно текста. Такие случаи тоже желательно исправлять.


Обратите внимание, что с помощью галочки в панели свойств области (внизу) ячейки из левой колонки таблицы сделаны картинками.
Текстовая область на фоне «картиночной» области — тоже важный инструмент: на фоне обычных картиночных областей могут находиться подписи к ним, на «фоновых» картиночных областях может располагаться и основной («колоночный») текст документа, а также таблицы.
Маленькие хитрости для облегчения работы с блоками
Описанные соглашения отражены в поведении редактора блоков. Например, если вы рисуете новый или растягиваете имеющийся блок так, что он полностью или почти полностью перекрывает другие блоки — эти другие блоки автоматически удаляются.
Логичность/нелогичность выделения областей
Тут самое время подумать — для каких целей и какого формата документ хочется получить в результате обработки. Вот некоторые соображения, влияющие на количество и характер исправлений разметки блоков в сложных случаях:
Вариант 1: нам нужен только текст (возможно, мы этого не понимаем, но дело обстоит именно так)
- нет «мусорных» областей, где в качестве текста или таблиц распознаются (мусором) элементы картинок или элементов оформления страницы.
- области логично выделяют строки, не допуская попадания символов в более чем одну область и неоправданного дробления строк на более чем одну область.
- то, что с точки зрения человека является таблицами в оригинале, должно быть выделено в табличные области. Это влияет как на качество распознавания (например, базовые линии строк в разных ячейках могут быть не выровнены по вертикали), так и на удобство поиска и копирования фрагментов текста в выходном документе.
Если отдельные картинки не должны копироваться из выходного PDF-документа – то такие области можно из документа исключить вовсе (не создавать новые и не оставлять найденные автоматикой, как минимум – удалять нелогично найденные картинки, а если не лень – то и все).
Я надеюсь шире и глубже раскрыть тему «разумности» картинок в статье про сохранение документов — если такая будет интересна читателям данного материала.
Вариант 2: нужно всё и сразу
Если документ, включающий не одно лишь текстовое содержимое (в одну или две колонки), предполагается сохранить сразу как электронную книгу в форматах FB2/e-pub или в любой промежуточный редактируемый формат (Вордовый или HTML) для дальнейшего редактирования и производства электронной книги, то осмысленное выделение таблиц и картинок становится особенно важно.
Среди прочего нужно определиться с тем, что делать с группами рядом расположенных картинок, и что делать с подписями к картинкам, как рядом стоящими, так и накладывающимися на картинки. Подробнее разберём эту тему в «Практикуме», на реальных примерах.
ABBYY Finereader: что это за программа
ABBYY FineReader на руссском языке идеально подходит тем, кто работает с текстами, которые были сфотографированы, а также старыми печатными изданиями после оцифровки. Даже если понадобится перевести конспект в электронный вид, это программа тоже очень поможет. Производителем софта является российская компания ABBYY. С 2009 года эта программа постоянно удостаивается различных международных наград и премий.

Особенности программы
Abby FineReader – это специальная утилита, которая используется для сканированных бумажных документов и дальнейшего распознавания текста. Программа использует в работе передовые технологические решения по распознаванию и содержит почти 200 словарей на разных языках, которые используют латиницу, кириллицу, а также арабские, армянские знаки, иероглифы.
Программа имеет такие особенности:
- сканирование. Утилита считывает данные со сканера, который подключен;
- технология OCR. Она помогает качественно оцифровывать символы с разных языков. Благодаря этой технологии достигается высокая точность распознавания символов – до 99%. К тому же используется система обучения самой программы, благодаря которой улучшается, совершенствуется распознавание, а его качество возрастает;
- мультиформатность. Данные с бумажного носителя преобразуются в файлы DOC, XLS, PDF и пр. Количество файлов для сохранения варьируется (до 19 штук). То же самое касается и входных файлов;
- программа предлагается в трех редакциях: Standard, Business и Enterprise;
- возможность конвертировать как весь документ, так и отдельные страницы;
- производительность. Происходит автоматическая обработка данных с применением всех ядер CPU. Благодаря этому скорость работы очень высокая. Чтобы распознать одну страницу уходит максимум 15 секунд;
- сравнение. В двух разных документах с помощью этой программы можно выявить отличия;
- простой интерфейс. Он выполнен на русском языке и интуитивно понятен любому.
Таким образом, утилита дает возможность качество и быстро получить текст со сфотографированного или отсканированного документа, при этом, не изменяя последовательность страниц и структуру текста. Получаемый файл можно сохранить в разных форматах, просматривать его, редактировать при необходимости, искать в его содержимом необходимую информацию, а также прикреплять документ к электронным письмам.
Четыре в одном: обзор нового ABBYY FineReader 14
Новый FineReader 14 можно сравнить со швейцарским ножом — теперь под его личиной кроются сразу четыре продукта именитого разработчика, объединённых в одну программу с единым рабочим окружением. Помимо успевшей зарекомендовать себя с наилучшей стороны системы оптического распознавания текста Optical Character Recognition (OCR), которая обеспечивает конвертирование отсканированных изображений, фотографий, документов или PDF-файлов в редактируемые электронные форматы, в составе программы представлены редактор PDF, инструмент «Сравнение документов» для сравнения документов различных форматов, включая бумажные и электронные, а также средства автоматизации задач по конвертации документов Hot Folder. Вряд ли кто-то мог предполагать, что в почти четвертьвековой истории развития FineReader (первая версия продукта увидела свет в 1993 году) случится такой крутой поворот, однако в ABBYY убеждены в правильности выбранного курса и уверены, что подобного рода перемены сделают программу ещё более востребованной в пользовательской среде.

Новая концепция FineReader 14
Своё стремление уйти от устоявшихся традиций в компании объясняют современными тенденциями развития рынка электронного документооборота. Согласно проведённым ABBYY исследованиям, сотрудники различных организаций регулярно сталкиваются со следующими сценариями работы с документами: преобразование изображений и PDF-файлов в редактируемые форматы и внесение в них правок; сравнение документов разных форматов; создание, просмотр и редактирование PDF-файлов, а также извлечение из них данных. При этом типичный пользователь имеет дело с четырьмя и более сценариями и для решения каждой задачи использует разные программные продукты. В результате получается так, что вместо того, чтобы выполнять свою задачу, сотрудник компании занимается тем, что изучает эти инструменты и переключается между ними в процессе работы. Это очень неудобно и, по сути, является бесполезной тратой ресурсов, правильно распорядиться которыми должен новый FineReader 14.

ABBYY FineReader 14 предоставляет широкий спектр возможностей в одной программе
Не остались без изменений в обновлённом FineReader и фирменные технологии оптического распознавания текста ABBYY OCR и обработки структуры документа Adaptive Document Recognition Technology. Приложение определяет расположение текста, тип и размер шрифта, начертание и другие особенности форматирования, а также воссоздаёт структурные элементы — таблицы и диаграммы, колонки, заголовки, сноски, колонтитулы, номера страниц. В результате пользователь получает электронную копию документа, идентичную оригиналу. Распознанный текст можно сохранить как текстовый документ (DOCX, ODT, RTF), электронную таблицу (XLSX), презентацию (PPTX), файл HTML, электронную книгу (ePub и FB2), а также в форматах PDF и PDF/A.

Профессиональные инструменты для распознавания текста
FineReader 14 содержит набор инструментов, позволяющих визуально повысить качество сфотографированных или отсканированных документов и улучшить результат их распознавания. Программа автоматически применяет необходимые инструменты предварительной обработки для разных типов изображений. С помощью редактора изображений пользователь может вручную настроить яркость и контрастность фотографии, исправить перекос или трапециевидное искажение, убрать цифровой шум, обрезать лишние части изображения и многое другое.

С помощью встроенного в программу редактора пользователь может сравнить в одном окне оригинальный документ и распознанную копию. Расширенные функции по редактированию позволяют корректировать форматирование документа, вносить правки в текст, редактировать изображения, искать информацию, управлять страницами документа. Кроме того, имеется возможность вручную задавать области для распознавания и даже научить программу распознаванию специфических шрифтов.

В четырнадцатую версию FineReader были добавлены новые языки распознавания: математические символы (для распознавания однострочных математических формул) и английская транскрипция. Таким образом, теперь программа умеет оперировать документами на 192 мировых языках и любых их комбинациях.
Также при подготовке FineReader 14 к выпуску специалисты ABBYY увеличили скорость обработки и точность распознавания документов, доработали средства конвертирования PDF-файлов с текстовым слоем, улучшили работу с таблицами, графиками, диаграммами и документами на арабском языке. Множеству доработок подверглись другие компоненты программного комплекса. В частности, теперь FineReader позволяет создавать PDF-документы из файлов различных редактируемых форматов (DOCX, XLSX, RTF и др.) и объединять их в один PDF-документ.
Самый важный компонент нового FineReader – PDF-редактор, построенный на базе программы ABBYY PDF Transformer+. Приложение позволяет выполнять рецензирование и согласование PDF-документов, а также предлагает полный набор функций для их защиты от несанкционированного доступа и изменений. Кроме того, приложение интегрировано с Adobe PDF Library , что обеспечивает гарантированное открытие любых PDF -файлов и возможность внесения в них изменений без преобразования в редактируемый формат. С прицелом на корпоративный сегмент рынка в программе предусмотрены инструменты удаления конфиденциальной информации, добавления цифровой подписи и разграничения прав на печать и редактирование документов.

Внесение изменений в текст PDF-документов
FineReader 14 позволяет преобразовывать PDF в популярные форматы Microsoft Word, Excel, PowerPoint, HTML, OpenOffice (ODT) и другие. При этом исходная структура и форматирование документа сохраняются. Благодаря упомянутой выше поддержке ePub и FB2, пользователи могут создавать из PDF-документов любительские электронные книги для чтения на планшетах и других портативных устройствах. Отдельно стоит отметить возможность создания PDF из файлов изображений (JPEG, JPEG2000, JBIG2, PNG, BMP, GIF, TIFF) и поддержку потокового конвертирования документов.

Пригодится новый FineReader и тем, кто по долгу службы часто сталкивается с процессом согласования договоров или работает с документами, для которых характерна версионность. Возможности инструмента «Сравнение документов» позволяют сверять документы в различных форматах, быстро находить даже самые мелкие несоответствия в тексте и предотвращать тем самым подписание или публикацию некорректной версии документа. Автоматическое сравнение документов поможет существенно сэкономить время юристам, менеджерам по продажам, финансистам, логистам, а также всем офисным сотрудникам, которые сталкиваются со сравнением документов — договоров, актов, прайс-листов или других материалов.

Параллельный просмотр различий
Проводить сравнение документов можно как в текстовых, так и в графических (отсканированные документы или их фотографии, PDF без текстового слоя и т. п.) форматах. Для удобства работы с полученными результатами все обнаруженные несоответствия отображаются на отдельной панели, а также подсвечиваются по тексту в обоих документах. Предусмотрена возможность создания подробного отчёта о различиях и последующего его сохранения в виде таблицы в формате Word или PDF-документа с комментариями в местах изменений. Полученную таблицу можно использовать для вставки в отчёт о согласовании документов или для ведения переговоров с контрагентом. Несущественные различия перед формированием отчёта можно удалить.

Сохранение результатов сравнения
Для предприятий среднего и крупного бизнеса в составе FineReader 14 представлено приложение-планировщик ABBYY Hot Folder, с помощью которого можно автоматизировать однотипные или повторяющиеся задачи по обработке документов в сети организации. Возможности программы позволяют выполнять пакетное конвертирование файлов, преобразование документов по расписанию и обработку почтовых вложений. Для начала работы необходимо выбрать компьютер, который будет заниматься выполнением перечисленных операций, указать рабочую директорию на файловом сервере и настроить список задач.

Обработка документов по расписанию
Таковы основные отличительные особенности нового поколения FineReader, определённо заслуживающего внимания тех, кто часто занимается оцифровкой бумажных документов. Программа предназначена для запуска в среде Windows, совместима со всеми популярными моделями сканеров и многофункциональных устройств (МФУ) и поставляется разработчиком в трёх редакциях — Standard, Business и Enterprise. Они различаются набором включённых инструментов, формами поставки и условиями лицензирования.

Редакции и формы поставки ABBYY FineReader 14
И последний штрих. Как и в случае с предыдущими версиями FineReader, условия лицензионного договора допускают установку продукта на один стационарный и один мобильный компьютер при соблюдении двух требований: оба устройства должны принадлежать человеку, который приобрёл продукт, и одновременно может быть запущена только одна копия программы. Таким образом, приложение можно установить и на рабочий ноутбук, и на домашний ПК, не нарушая тем самым условий лицензионного соглашения с компанией ABBYY.