Хранилище данных ЗАО "Первый Контейнерный Терминал"

Постановка задачи

Информационная система ЗАО "Первый Контейнерный Терминал" обеспечивает информационную поддержку всех бизнес процессов комании и позволяет

• Планировать размещение контейнеров на площадках хранения
• Управлять перегрузочной техникой
• Управлять процессами оформления документов
• Интегрировать в едином информационном пространстве несколько стивидорных компаний
• Контролировать ввоз/вывоз груза с территории терминала
• Поддерживать весь документооборот компании.

Эта информационная система изначально была реализована с использованием продуктов СУБД Sybase ASE, репликационного сервера Sybase RS, сервера приложений Sybase EAS. В последнее время перед компанией встала задача оперативного получения аналитической отчетности. Построение аналитической системы на базе существующей оперативной оказалось невозможным по следующим причинам:

• Тяжелые отчеты мешают выполнению оперативных задач;
• Сложность нормализованной структуры делает невозможным использование аналитических инструментов;
• Недостаточная скорость выполнения регламентных запросов;
• Невозможность выполнения произвольных запросов;
• Невозможность осуществления анализа без помощи программистов;
• Высокая стоимость устройств хранения;
• Низкая масштабируемость аналитической системы.

Перед службой информационных технологий стала задача выбора оптимальной архитектуры аналитической системы.

Описание решения

Первый шаг - Использование выделенного сервера с "теплой" копией оперативной базы данных.

Используемое в ПКТ решение теплого резервирования, Warm Standby репликация, позволяет использовать копию базы данных на выделенном сервере для выполнения тяжелых отчетов. При этом оперативная работа выполняется на основном ASE, репликационный сервер применяет все транзакции к Standby ASE, поддерживая копию основной базы, а тяжелые запросы в режиме только на чтение выполняются на Standby базе данных.

Эта архитектура позволила решить только одну из указанных проблем - убрать влияние тяжелых отчетов на оперативную работу.

Для выполнения отчетов, аналитики продолжали использовать вызовы хранимых процедур; каждый новый отчет требовал от программистов, создания новой процедуры и специальной оптимизации.

Попытка использования популярного продукта Business Objects на OLTP структуре приводила к огромным, абсолютно неэффективным запросам, выполнявшимся неприемлемо долгое время. Для того чтобы заставить их работать, программистам приходилось менять структуру базы данных, создавать дополнительные индексы и т.д. После нескольких попыток использования связки Business Object + ASE c OLTP структурой, данная конфигурация была признана неработоспособной.

Второй шаг - построение хранилища данных с использованием Sybase IQ

Для того чтобы дать возможность бизнес пользователям самостоятельно осуществлять анализ данных, обеспечивая при этом высокую скорость обработки, было принято решение построить хранилище данных с помощью специализированного СУБД для хранилища данных Sybase IQ и Business Objects в качестве аналитического инструмента.

При выборе решения в качестве альтернативы рассматривались следующие варианты:

Хранилище данных на базе реляционной СУБД

Данное решение позволяет построить удобную для бизнес-анализа модель данных, позволяя пользователям использовать аналитические инструменты, такие как Business Objects. Но при этом сохраняются следующие проблемы:

• Относительно невысокая скорость выполнения запросов - эта проблема становится все более и более актуальной в связи постоянным ростом объема данных;
• Невозможность выполнения произвольных запросов - данная архитектура требует от разработчиков постоянной настройки и оптимизации базы данных;
• Высокая стоимость устройств хранения - агрегирование, денормализация и индексирование данных приводит к значительному "взрыву" данных;
• Низкая масштабируемость системы - потенциально большое число бизнес пользователей системы требует очень дорогого аппаратного решения, позволяющего обслужить на одном сервере одновременное выполнение большого числа запросов.

Использование OLAP решения на базе многомерных кубов

Данное решение обеспечивает, теоретически, максимальную скорость обработки запросов, но обладает рядом серьезных недостатков, не позволяющих использовать данную архитектуру при построении хранилища данных:

• Огромный "взрыв" данных. На кубах с большой размерностью, отношения объема многомерного куба к объему исходных данных, часто, составляет десятки и сотни раз.
• Медленная загрузка данных. Загрузка новой порции данных приводит каждый раз к перестройке всего куба, что происходит непозволительно долго. К тому же, пользователи не могут в это время работать с данными.
• Изменение в структуре куба приводит к его полной перестройке.
• Пользователи не могут осуществлять произвольные запросы к системе, только те, которые были запланированы при проектировании куба. Произвольные запросы невозможны!

Хранилище на базе Sybase IQ

Данное решение позволило решить все вышеперечисленные проблемы аналитической системы:

• Запросы выполняются на выделенном сервере (Sun Fire 240) и не мешают оперативной работе. Загрузка данных во время ETL процедуры тоже не оказывает влияния на оперативную работу, так как выполняется со Standby системы;
• При построении хранилища может быть подготовлена денормализованная структура удобная для проведение бизнес анализа;
• Sybase IQ позволяет достичь очень высокой производительности как на регламентных, так и на произвольных запросах не требуя при этом оптимизации базы данных;
• Высокая эффективность при выполнении произвольных запросов и аналитические инструменты, такие как BusinessObjects, позволяют бизнес пользователям полностью самостоятельно осуществлять анализ;
• Высокая скорость загрузки данных, с возможностью независимой параллельной работы пользователей, позволяют постоянно поддерживать актуальность данных в хранилище. Задержка при обновлении данных, как правило, не превышает нескольких часов.
• Архитектура Sybase IQ Multiplex позволяет добавлять постепенно вычислительные узлы, обеспечивая линейную от числа пользователей масштабируемость.

Пользователи системы

В данный момент пользователями системы являются сотрудники "Первого Контейнерного Терминала".

В планы компании входит создание единое хранилище всех компаний входящих в холдинг управляемый компанией "Национальная Контейнерная Компания", а также предоставления доступа к хранилищу данных крупнейшим партнерам компании через интернет портал.

О компании

Первый Контейнерный Терминал (ПКТ), расположенный в морском порту Санкт-Петербурга и входящий в холдинг "Национальная Контейнерная Компания", является крупнейшим и лидирующим контейнерным терминалом в области обработки контейнерных грузов на Балтийском море и в России. ЗАО "ПКТ" - основной центр перегрузки контейнеров на Северо-западе страны. По своим возможностям он является третьим терминалом в Европе и пятым в мире, и включен в линейное расписание 13 ведущих судоходных компаний мира.

Национальная контейнерная компания (НКК) - крупнейшая в России транспортная компания, осуществляющая экспортно-импортные контейнерные перевозки. Компания создана с целью организации общероссийской сети контейнерных терминалов и решения логистических задач, связанных с транспортировкой грузов.

НКК формирует общероссийскую единую сеть контейнерных терминалов Балтики, Дальнего востока, Каспия и Черного моря. В настоящее время НКК владеет контейнерными активами в портах Санкт-Петербург, Оля (Астраханская область), Восточный (Находка), Новороссийск и Усть-Луга, а также интермодальными грузовыми терминалами в Москве и Санкт-Петербурге.