Поисковый движок: кодировка текста, языки, локали

English

Поддержка Юникода

Ядро поисковой машины работает исключительно в Юникоде, что снимает всевозможные проблемы с кодировками - в том числе для разных кодировок одного языка (например, для кириллицы - cp1251, koi8 и ibm866), а также для азиатских иероглифических языков. Полная поддержка всех спецификаций для Юникода, а также полный состав алгоритмов для преобразования всевозможных  используемых на практике кодировок значительно увеличивает размер кода поисковой машины, поэтому на стадии компиляции можно оставить необходимый минимальный набор поддерживаемых возможностей.

Значительная часть возможностей по работе с текстом опирается на библиотеку IBM ICU, которая в полном варианте занимает около 10 Мб.

Если нужна дополнительная информация о стандарте UNICODE и сведения для компьютерной обработки разных языков, то предлагаем ознакомится с небольшим каталогом ссылок на релевантные ресурсы, которые мы использовали при разработке поисковой машины.

На отдельных страницах Вы можете посмотреть на скриншоты и примеры поиска в документах на разных языках.

Поддерживаемые кодировки и кодовые страницы

Так как поисковый движок может компилироваться с разным набором поддерживаемых возможностей (в том числе в минимальном варианте без поддержки сложных кодировок и многих кодовых таблиц), то в поисковой утилите φaind предусмотрена возможность получить список реально поддерживаемых кодировок для текущего варианта поисковика. Для этого в командной строке набираете:

faind -help=10

Результат зависит от версии поисковика и может выглядеть так:

начало листинга

середина листинга

конец листинга

См. примеры работы с документами на разных языках и в разных кодировках.

Поисковая система Integra предоставляет более удобные средства указания кодировки.

Локали

Для получения списка всех возможных локалей, учитываемых поисковым движком при сравнении строк и сортировке, а также при печати сообщений, используется команда:

faind -help=11

Если поисковая машина скомпилирована с расширенной поддержкой Юникода через средства библиотеки IBM ICU, то список может выглядеть так (на скриншоте - только начало):

Исключение акцентов (диактрических значков) при поиске

Команда -strip_accents=true заставляет поисковый движок убирать диактрические значки у символов. В результате, к примеру, буква è станет e. Данный механизм распространяется и на сложные случаи - когда у базовой буквы есть несколько диактрических символов, например ǘ станет u.

Команду -strip_accents имеет смысл задавать и при индексации зоны, чтобы уменьшить количество создаваемых ключевых слов в индексной базе данных.

Прочие опции обработки контента

Некоторые форматы текстовых файлов включают специальные тэги разметки (HTML, XML). По умолчанию тэги игнорируются парсером. Чтобы заставить поисковый движок обрабатывать всю служебную информацию в файле, используется опция

-stripdecor=false

В качестве примера можно рассмотреть поиск гиперссылок в веб-документе.

Задание кодовых страниц для документов

Не все форматы текстовых файлов позволяют однозначно определить кодировку символов, и даже в случае работы с форматами, которые позволяют задавать кодировку (например, HTML), нередко по небрежности их создателей сведения о кодировке отсутствуют. Для ASCII и HTML файлов поисковая машина по умолчанию применяет специальный алгоритм Codepage Guesser, который пытается подобрать наиболее подходящую кодировку. Этот алгоритм не всегда способен корректно распознать кодировку. Например, если текстовый файл содержит сначала английский текст, а затем - русский, то CP Guesser может выбрать кодовую страницу 1250 по результатам анализа первых 100 слов - и русский текст будет воспринят некорректно. Чтобы управлять алгоритмом подбора кодировок, можно явно указывать проверяемые кодовые страницы с помощью нижеописанных опций.

-cp NNN принудительно устанавливает заданную числом или именем кодовую страницу NNN для всех обрабатываемых документов, даже если в этих документах указана другая кодировка. К примеру:

-cp iso-8859-1

заставляет поисковую машину использовать западноевропейскую кодировку (iso-8859-1).

-prefer_cp NNN если для документа кодировка не известна, то использовать указанную. К примеру:

-prefer_cp utf-8

Данная команда имеет также вариант с расширенным синтаксисом:

-prefer_cp "MMM;NNN;KKK" - список предпочитаемых кодировок в порядке применения. Специальный алгоритм (codepage guesser) попытается определить для документов наиболее подходящую кодировку. Например:

-prefer_cp "utf-8;cp866;cp1251;cp1256"

Кодировки и языки

Оригинал таблицы взят со страницы http://wdh.suncloud.ru/charsets.htm

Транслитерация

Команда

-translit тип

действует аналогично команде задания кодовой страницы и позволяет использовать встроенную или загружаемую таблицу транслитерации для преобразования латиницы в кириллицу.

Тип транслитерации может быть либо именем предопределенного кодека:

#gost - ГОСТ 16876-71

либо именем текстового файла для загрузки произвольной таблицы транслитерации. Текстовый файл с таблицей транслитерации должен быть в кодировке utf-8 и иметь следующие формат:

кодирующая_латиница   исходная_кириллица конец_строки
     кодирующая_латиница   исходная_кириллица конец_строки
     кодирующая_латиница   исходная_кириллица конец_строки
                                       :

Дополнительные материалы

Процедурный API поисковой системы

Где скачать поисковую систему и SDK

Скачать SDK поисковой системы с примерами и другие компоненты можно здесь 

© Mental Computing 2010

изменено 01-Jun-10