По исследованиям EMC Corporation общий объем информации удваивается каждые два года. Анализ большого объема данных в «ручном режиме» зачастую является нерешаемой задачей, в то время как правильное использование этих данных может привести к неожиданным выводам. 

Для того, чтобы человек смог проанализировать большие массивы данных, их необходимо перевести в понятный для него вид; из нескольких тысяч строк слов и цифр получить понятную схему, диаграмму или карту. Для решения подобного рода задач создан ряд продуктов семейства IBM i2 

ОПИСАНИЕ ПРОДУКТОВ СЕМЕЙСТВА IBM I2

Система IBM i2 позволяет производить анализ связей и закономерностей в большом объеме данных. Решение данной задачи реализуется с помощью визуализации связей и статистических закономерностей между записями.

Система IBM i2 состоит из различных компонентов, которые, в зависимости от решаемых задач, могут быть применены в различных вариантах архитектуры.

iBase

iBase позволяет собирать и анализировать данные из различных источников.

iBaseявляется центральным узлом системы, с помощью которого осуществляется хранение и анализ информации. Также с помощью этого компонента осуществляется управление учетными записями и правами доступа для многопользовательских систем.

iBase позволяет:

• Спроектировать базу данных, в которой будет впоследствии храниться собираемая в системе информация.
• Формировать правила импорта данных из сторонних источников.
• Осуществлять контроль доступа к данным и аудит событий такого доступа.
• Централизованно хранить результаты анализа

iBridge

Интеграция с внешними системами осуществляется с помощью различных средств:

iBridge – модуль системы, позволяющий подключать Analyst'sNotebook к уже существующим базам данных в режиме реального времени.

iBridge позволяет:

• Подключаться к внешним базам данных напрямую.
• Осуществлять поиск элементов в базе данных.
• Формировать визуальные запросы на поиск информации.

Analyst's Notebook

Аналитик, непосредственно работающий с системой, получает информацию через следующие приложения:

Analyst's Notebook – компонент i2, являющийся основным интерфейсом взаимодействия пользователя с системой. Позволяет анализировать информацию, содержащуюся в подключенных к нему файлах и базах данных, представляет результат анализа в виде схем взаимосвязей и временных диаграмм. На схему также можно добавлять произвольные объекты, не содержащиеся в базе данных, например, текстовые комментарии или фотографии.

Имеющиеся в Analyst'sNotebook аналитические инструменты позволяют выполнять поиск элементов на схеме, взаимосвязей между ними и другие задачи.

Analyst's Notebook позволяет:

• Выполнять поиск элементов в базе данных.
• Графически представлять информацию содержащуюся в базе данных.
• Подключать данные из различных локальных источников (текстовые файлы, электронные таблицы).

ВАРИАНТЫ АРХИТЕКТУРНЫХ РЕШЕНИЙ

Используя различные наборы продуктов семейства IBM i2 можно создать систему анализа и визуализации данных.

К примеру, если информация, подлежащая анализу и визуализации хранится в виде текстовых файлов или таблиц Excel, имея при этом небольшой объем (порядка 50 тысяч записей), то для построения визуальной схемы взаимосвязей или временной шкалы будет достаточно использовать i2 Analyst's Notebook.С помощью мастера импорта можно загрузить в i2 Analyst's Notebook данные хранящиеся практически в любом текстовом формате. При этом мастер импорта имеет интуитивно понятный графический интерфейс, что позволяет пользователю организовать чтение данных из различных источников не прибегая к помощи системного администратора.

Плюсы метода:

• Стоимость решения.
• Простота настройки и использования.
• Возможность загружать данные из различных не связанных источников.

Минусы решения:

• Невозможно подключиться напрямую к базе данных.
• Большие требования к производительности рабочей станции.
• Низкая работоспособность при работе с файлами больших объемов.
• Невозможность обработки больших объемов данных.

В случае необходимости выполнения анализа информации, хранящейся в базе данных и имеющей большие объемы, для ее визуального отображения целесообразно использовать связку из двух продуктов. i2 Analyst's Notebook и i2 iBase. iBase позволяет выгрузить необходимую информацию из баз данных в собственное хранилище, из которого i2 Analyst's Notebook будет брать данные для построения визуальной схемы.

Плюсы метода:

• Возможность визуализации больших массивов данных.
• Меньшая нагрузка на рабочую станцию.
• Подключения к различным базам данных (Oracle, MSSQL, MySQL, Access и т.д.).

Единое хранилище данных содержащее информацию с различных источников.

Минусы метода:

• Стоимость.
• Сложность внедрения.

Для того чтобы получить возможность визуализировать информацию базы данных, которая изменяется в режиме реального времени, и повысить оперативность построения схем и диаграмм, существует возможность использования связки продуктов i2 Analyst's Notebook и iBridge. Такая архитектура позволит интерпретировать запросы пользователя в Analyst's Notebook в запросы базы данных, минуя шаги импорта.

Плюсы метода:

• Работа с большими массивами данных.
• Возможность работы с БД в режиме реального времени.

Минусы метода:

• Стоимость.
• Сложность внедрения.
• Отсутствие единого хранилища данных.

ПРИМЕР ИСПОЛЬЗОВАНИЯ

Одним из примеров использования продуктов семейства IBM i2 может служить расследование действий сотрудника на основе визуализации журналов событий, отражающих его действия в информационных системах. Для реализации описанной задачи, при условии, что журналы системных событий собираются только с одной системы, достаточно использования i2 Analyst's Notebook. Данные журналов аудита загружаются из текстовых файлов в i2 Analyst's Notebook. Среди информации, представленной в журнале, можно выделить различные типы объектов:серверы, файлы, пользователи. И различные виды событий, связывающих эти объекты:вход в систему, доступ к файлу и т.п. Полученные данные можно представить с помощью различных видов диаграмм.Например, можно построить временную диаграмму, отображающую на шкале времени возникновение различных видов событий. Таким образом, существует возможность отследить причинно-следственную связь в последовательности событий.

Также имеющуюся информацию можно отразить в диаграмме взаимосвязей, которая позволит отобразить количество событий для каждой возможной связи. Эта диаграмма может помочь в актуализации прав доступа к системам и поиске подозрительных активностей.

Аналитические функции i2 Analyst'sNotebook позволяют находить на схеме «пути», соединяющие различные объекты, использовать визуальный поиск среди объектов находящихся на схеме, искать объекты схожие по каким-либо параметрам, редактировать и добавлять новые объекты и связи. После завершения работы аналитика схему можно сохранить в формате i2 для последующего открытия с помощью i2 Analyst's Notebook, либо вывести схему на печать.

ПРИМЕР ЗАДАЧ РЕШАЕМЫХ С ПОМОЩЬЮ СЕМЕЙСТВА ПРОДУКТОВ IBMI2

Возможности IBM i2 по визуальному отображению объектов и их взаимосвязей могут быть использованы для решения различных задач.Например, для поиска аффилированности между контрагентами, участвующими в тендерах проводимых компанией. В случае, когда контрагенты, подавшие заявки на участие в тендере, пытаются скрыть свою аффилированость, выявление подобных взаимосвязей требует большого объема трудозатрат от аналитиков. Подобная задача может быть упрощена с помощью построения схемы взаимосвязей между интересующими партнерами и ее автоматизированного анализа.

Другой пример, использования IBM i2 – графическое отображение движения денежных средств между субъектами платежей в банковской и телекоммуникационной сферах.Описанные возможности IBM i2 значительно упрощают расследование мошеннических действий в данных сферах. Визуализация информации позволяет выявить узлы (например, счета) на которых «оседают» финансовые средства.

В наших будущих статьях мы подробнее расскажем о применении IBM i2 для решения подобных задач.