Кэширование данных

Так как частота изменений или константность данных в SQL словаре известна на основе длительного опыта эксплуатации в рамках нескольких прикладных проектов, то мы можем существенно оптимизировать работу слоя доступа к данных. Под оптимизацией подразумевается не только ускорение доступа к элементам словаря, но и уменьшение нагрузки на СУБД.

Оптимизация происходит с помощью кэширования объектов некоторых классов на уровне слоя доступа. Другими словами, C++ код, обслуживающий запросы на загрузку из базы данных, в некоторых случаях запоминает запрошенные объекты в своих списках - в кэше. Повторный запрос на загрузку тех же объектов выполняется уже без обращения к БД.

При этом СУБД продолжает кэшировать данные на своем уровне. Можно предположить, что уменьшение запросов на загрузку закэшированных объектов немного улучшает работу кэша СУБД, так как часто используемые страницы данных с содержимым индексов и таблиц не выгружаются для обработки запросов на загрузку некоторых объектов.

Особенности работы кэша слоя доступа:

1. Идентификация объектов осуществляется на основе первичного ключа.

2. Объекты в кэше не синхронизируются с базой данных. Поэтому в случае изменения в БД закэшированных данных необходимо перезапустить клиентское приложение. При проектировании слоя доступа была идея ввести специальную процедуру - сброс кэшей, но пока решено не вводить её, так как необходимость в такой операции будет очень редкой. В аналогичном механизме поисковой системы при работе с описаниями индексных баз движок постоянно отслеживает метки последней модификации данных в БД, и при необходимости "на ходу" подгружает изменившиеся данные. Поэтому поисковая система допускает в принципе одновременную работу двух движков на одном компьютере - они будут корректно синхронизироваться через базу данных каталогизатора.

3. В кэше нет механизмов устаревания объектов. Все, что попало туда однажды, находится в кэше до окончания работы прикладной программы.

4. Кэш многопоточный, с блокировками потоков по классам объектов.

5. Кэшируются следующие объекты: языки, части речи, грамматические атрибуты, словарные статьи.

6. Вообще не кэшируются следующие объекты: фразы и их компоненты; связи, их теги и флаги; N-грамы.

7. Кэш не имеет ограничений на объем занимаемой памяти, поэтому в предельном случае в оперативной памяти окажутся все словарные статьи и описания морфологии языка.

Дополнительные материалы

Дистрибутив SQL словаря

SQL словарь

Первичные ключи

Генерация первичных ключей

Экспорт словаря из бинарного формата в SQL

Редактор Словаря SQLex

Экспорт словаря из SQL БД в текстовый формат

ORM Persistent Dictionary Library

  © Козиев Илья 2019
изменено 05-Feb-12