Sybase Replication Server. Загрузка в реальном времени в Sybase IQ

Компания Sybase разработала новаторскую технологию динамического переноса данных в хранилище, обеспечивающую использование всех возможностей нативного механизма высокоскоростной загрузки данных Sybase IQ, под названием Real Time Loading (RTL).

RTL решает проблему подготовки данных к загрузке, выполняя их пересылку в реальном времени из базы-источника и применяя к ним преобразование в фоновом режиме.

До сих пор единственным способом загрузки данных в Sybase IQ из систем онлайновой обработки транзакций (OLTP) — таких, как системы заказа авиабилетов, финансовых транзакций и др., была загрузка с промежуточным преобразованием. При этом процесс загрузки данных в хранилище изолирован от OLTP-системы в целях обеспечения целостности данных, поскольку данные в транзакционной системе быстро меняются.

Непосредственная репликация в Sybase IQ была возможна лишь в системах, данные в которых изменяются в умеренном темпе. Причиной этого является фундаментальное различие между способом организации данных в Sybase IQ и алгоритмами пересылки данных Sybase Replication Server.

Sybase IQ — это векторная СУБД, т. е. с поколоночным хранением. Для обращения к строке требуется выполнить ее сборку, загрузив предварительно все элементы столбцов. При этом построчная обработка оказывается неэффективной, и так называемая «поточная» загрузка в Sybase IQ практически невозможна. Преимуществом векторной СУБД является непревзойденная скорость выполнения сложных операций извлечения данных, а также агрегации больших массивов данных.