Сусанна Шварц
Независимый журналист
и технический редактор журнала
Billing World & OSS Today

Управление мастер-данными обеспечивает лучшее качество данных, позволяет получать информацию реального времени, помогает строить архитектуру, ориентированную на сервис, и ограждает информацию о клиентах и продуктах от несанкционированных изменений. При этом самое сложное — всем участникам проекта договориться о терминах.

Всем нам нужна правда и только правда, но стратегии, призванные обеспечить «единственную версию истины», упорно не срабатывают. Под истиной в нашем случае понимается непротиворечивая информация реального времени — о клиентах, продуктах, местонахождении объектов, сотрудниках, производстве, финансах и остальных ключевых элементах бизнеса, — охватывающая все системы и подразделения.

Стремясь сделать так, чтобы функциональные области работали с общими данными и выступали как единый непротиворечивый ресурс, предприятия вкладывали значительные средства в CRM- и ERP-системы, хранилища данных и другие технологии. Истратив миллионы долларов, они все еще бьются над тем, чтобы получить полное единое представление из данных разных подразделений и разного назначения. Каждое корпоративное приложение порождает свое собственное представление информации, привязанное к транзакциям, и в итоге возникают множественные версии данных. И эти данные представляются в различных формах — они могут быть либо структурированными полностью, как в базах данных и таблицах, либо наполовину, либо вообще не структурированными, как документы Office, тексты электронных писем, PDF-файлы или графические образы документов.

Если бизнес-пользователи не в состоянии извлечь нужную им информацию из хранилищ данных, ERP-систем или СУБД, они часто сами в этом виноваты, так как не делают всего возможного для обеспечения точности данных. Но когда их недовольство достигает точки кипения, оно обычно выплескивается на ИТ-подразделение. И здесь появляется управление мастер-данными (master data management, MDM) — технология, помогающая бизнесу и ИТ улучшить ситуацию с непротиворечивостью и достоверностью информации по всем системам и подразделениям, а также идентифицировать взаимосвязи между основными данными и управлять этими связями. Технология основана на консолидации и очистке данных из несоизмеримых систем. В общем виде MDM-framework показан на рисунке. Сама по себе идея не нова, но MDM, в противоположность прошлым попыткам, активно синхронизирует «мастер-данные» и распределяет их по целевым системам, так что происходит гармонизация информации, и, кроме того, управляет её полным жизненным циклом. Можно сказать, что MDM — это нужный подход, который обеспечивает абстрагирование данных и ограждает их от изменений в приложениях и бизнес-процессах.

За свободу и независимость данных

Инициативы в области MDM направлены на то, чтобы найти точки соприкосновения и оптимальным образом решить проблему избыточных данных, рационализировав их перекрытие в разнородных системах. Это достигается путем выделения мастер-данных — информации, описывающей клиентов, продукты, поставщиков, местонахождение объектов, материалы, активы и другие аспекты бизнеса, важные для предприятия. MDM позволяет определить каждый элемент данных лишь один раз, затем понять, какими будут его производные в разных системах, и создать бизнес-правила, позволяющие применять мастер-данные на всем предприятии.
«MDM представляет собой активную попытку рационализировать и синхронизировать обновляющуюся информацию с помощью механизмов синхронизации, которые соединяют данные из разных систем предприятия, — говорит Сунил Гупта, глава группы разработчиков MDM-компонента в составе NetWeaver компании SAP. — Ранее в ERP-проектах уходило так много времени на очистку, анализ и обработку транзакционных данных, что они устаревали к тому времени, как появлялась возможность описать события в бизнесе».

Отделение данных от приложений высвобождает информацию из «завалов» в различных отделах, так что она может использоваться и другими системами. Сами «завалы» являются хронической проблемой для розничных банков, страховых компаний, провайдеров услуг в области здравоохранения и предприятий розничной торговли с большим ассортиментом товаров. Такие предприятия обычно перегружены разнородными унаследованными системами, каждая из которых поддерживает собственную базу данных.

Применим правила

Извлекать информацию «из завалов» особенно сложно в тех организациях, где изменения в данных обычно диктуются по телефону, присылаются по факсу, электронной почте, а то и пишутся на первом попавшемся листке бумаги. В таких случаях ключом к внесению в подход интеллектуальной составляющей становятся MDM-серверы. «Серверы отвечают за координацию и синхронизацию данных между системами управления данными о продуктах, жизненным циклом продуктов, ERP и CRM, а также таблицами, электронными письмами, графическими изображениями, видеоклипами и другими неструктурированными данными», — поясняет Джон Копке, главный инженер компании Hyperion.

Большинство MDM-серверов включают в себя механизмы работы с правилами и алгоритмы, помогающие определить, каким образом изменения в мастер-данных будут влиять на различные системы. Предусмотрены также дополнительные проверки для авторизации и верификации изменений в данных. «Посредством правил можно, например, определить, не влияет ли изменение на системы и не нарушается ли при этом схема верификации данных, — сказал Джон Копке, отметив, что с помощью правил для ETL-сценариев (Extract, Transform and Load) можно гарантировать, что данные, измененные в одном сценарии, будут изменяться и в другом. — В таком случае ошибки не разлетаются по всей фирме просто потому, что кто-то забыл обновить сценарий». Когда все авторизовано, верифицировано и одобрено, изменения автоматически могут быть размножены на все взаимосвязанные системы, определенные в правилах.

Автоматизация иерархии данных

Для того, чтобы изменения в данных направлялись по нужным каналам, применяется процесс управления иерархией данных — автоматизированное сравнение планов счетов, организационных структур, доходов и расходов по продуктам и сотням других видов данных. Именно принцип иерархии данных лежит в основе отчетности. Объединяя данные из разнородных систем в едином центре, где размещаются типы, правила, отображения и наименования для всех задействованных данных, автоматизация снижает стоимость репликации изменений и дает бизнес-пользователям более ясную картину происходящего без обременительных телефонных звонков, факсов и электронных писем в ИТ-отдел.

«Сейчас один человек заменяет множество сотрудников, которые должны были ежемесячно обрабатывать тысячи изменений в данных, — рассказывает Ян Виллем Белдман, глава группы по аналитическим приложениям и качеству данных из компании Mentor Graphics, установившей MDM-сервер Hyperion. — Если раньше нужно было найти в ИТ-отделе человека, чтобы он ввел информацию в решение SAP, а потом другого, чтобы ее же ввести в систему расчета комиссионного вознаграждения Calibus, то теперь один сотрудник вносит изменения в центр затрат, в финансовый отдел и в отчет в рамках процесса управления работой торгового агента. Главное, у нас исчезли авралы в конце месяца, так как мы устранили многократный ввод». А кроме того, по словам того же Белдмана, бизнес-пользователи, комбинируя данные из систем работы с заказами и общей базы, теперь получают непротиворечивые структуры. В дополнение к снижению затрат решение позволило Mentor записывать историю изменений мастер-данных, которая представима в форме журнала аудита, удовлетворяющего требованиям важнейших американских нормативных документов, таких как Акт Сарбейнса — Оксли, Basel II, TREAD и др.

Собственность на данные

Для создания иерархических структур данных необходим консенсус в вопросе о мастер-данных и их распространении. Однако в любой организации сохраняются труднопреодолеваемые старые привычки, и поэтому для автоматизации иерархии данных дипломатическое искусство значит больше, чем знание технических приемов. «Мы и не предполагали, что самыми сложными составляющими нашего MDM-проекта окажутся переговоры об иерархии данных с разными частями организации и назначение ответственных за обслуживание данных», — признается Ян Белдман.

«Вместо того, чтобы смотреть на данные как на чью-то собственность, каждое подразделение в фирме должно сместить фокус на обслуживание процессов создания мастер-данных и управление их жизненным циклом», — говорит Билл Свонтон, вице-президент по исследовательской работе компании AMR Research. В отчете, озаглавленном «Основа MDM: начинать, имея в виду завершение», Билл Свонтон рекомендует предприятиям назначить специальных сотрудников «рапорядителями данных» (data stewards), чтобы они отвечали за определенные элементы мастер-данных в юридическом и нормативном аспектах, а также с точки зрения бизнеса: «Вы устанавливаете KPI [key performance indicators — ключевые показатели эффективности], и как только точность вводимых данных будет падать ниже порогового значения, должны немедленно отреагировать». Это, считает эксперт, поможет поддерживать консенсус по поводу того, что представляют собой данные. Если в роли «распорядителей данных» выступает несколько человек, которые перемещают, верифицируют и расширяют информацию, им могут понадобиться мощные инструменты управления. «Общее правило, по-видимому, заключается в том, что компаниям, ориентированным на клиента, необходимо больше структурировать данные и меньше — процессы, относящиеся к управлению ими, — замечает Арвинд Партхасаратхи, директор по решениям компании Informatica. — Фирмы же, фокусирующиеся на обработке данных для их совместимости с жесткими нормативными требованиями, наоборот, более сосредотачиваются на процессах и отслеживании того, кто и когда работал с информацией».

Типы MDM-систем

Теперь перейдем к инструментам. Чтобы автоматизировать управление мастер-данными, ИТ-специалисты должны отфильтровать «шум», которого на MDM-рынке по мере его роста становится все больше. Для этой цели аналитики пытаются разбить рынок на четко определенные сегменты. «MDM-системы присутствуют на рынке уже несколько лет,— говорит аналитик из IDC Генри Моррис. — Но для использования мастер-данных в конкретных областях, таких как информация о клиентах, о продуктах или финансовые счета, появляется «прикладное» и «инфраструктурное» управление мастер-данными».

Термин «прикладное MDM» (applied MDM), объясняет Моррис, подразумевает приложения, построенные специально для рационализации данных путем управления определенными классами мастер-данных. Один из примеров — MDM-система, предназначенная для координации и совместного использования данных о продукте в течение его жизненного цикла. Существует также ПО для интеграции данных о клиентах, позволяющее определить и поддерживать их единое представление в нескольких системах. ПО географической привязки (location software) определяет и поддерживает данные о местонахождении объектов. MDM-система для работы с финансовыми счетами выполняет процедуру консолидации для унифицированного плана счетов, который отображается в нескольких финансовых системах для интегрированного формирования отчетности и управления эффективостью.
Термин «инфраструктурное или корпоративное MDM» (infrastructure or enterprise MDM) относится к системам, поддерживающим процессы создания и обслуживания единого набора политик для мастер-данных. Соответствующие продукты обычно выходят за пределы какого-то одного типа мастер-данных, отдела, бизнес-подразделения или приложения. Согласно классификации IDC эта категория включает интеграционные технологии для перемещения данных, такие как ETL, управление данными и контроль качества данных, если они используются для поддержания единого представления. К ней же эксперты относят системы управления контентом, предназначенные для рационализации неструктурированной информации путем отображения документов, а также неформатированных и форматированных текстов, хранящихся в базах данных или в записи баз знаний.

Будьте реалистами

Некоторые полагают, что компании должны для всей информации использовать один-единственный комплекс хранилищ мастер-данных и один набор инструментов для работы с ними. Однако Билл Свонтон из AMR такой подход для большинства предприятий считает непрактичным. Альтернатива заключается в том, чтобы объекты бизнеса включать в MDM-среду по одному. При последовательном применении ряда технических решений, в каждом из которых задействованы определенные компоненты работы с мастер-данными, нет необходимости разом разрешать все проблемы непротиворечивости данных. Главное — аккуратно учитывать связи между подразделениями и объектами данных, чтобы мастер-данные работали для всех и поддерживались на протяжении длительного времени. «Цель состоит в том, чтобы избежать неожиданностей и постепенно ввести институт распорядителей данных», — говорит Билл Свонтон.