Раздел меню Работа с данными содержит рабочие области, которые обеспечивают возможность использования внешних источников данных, построение логической модели данных и загрузку данных в модели.
¶ Рабочие области
Рабочая область — это основной структурный элемент интеграции, предназначенный для настройки процесса интеграции и структуры данных.
Рабочая область содержит в себе источники данных, потоки данных и модели данных.
В системе может быть настроено несколько рабочих областей. На уровне рабочих областей осуществляется распределение ролей и прав доступа к рабочим пространствам.
Информация на странице представлена в табличном виде:
- Название — наименование рабочей области.
- Источники — количество источников данных.
- Модели данных — количество моделей данных.
- Описание — дополнительная информация о рабочей области.
- Дата и время создания.
- Создал — фио пользователя, создавшего рабочую область.
- Дата и время обновления.
- Обновил — ФИО пользователя, обновившего рабочую область.
На странице также доступна кнопка Создать для создания новой рабочей области.
¶ Создание рабочей области
Для создания рабочей области выполните следующие действия:
- В разделе Работа с данными нажмите кнопку Создать.
- В появившейся форме заполните поля:
- Название рабочей области — наименование рабочей области в интерфейсе.
- Описание — дополнительная информация о создаваемой рабочей области. Заполнение поля опционально.
- Нажмите Создать рабочую область.
Созданная рабочая область отразится в разделе Работа с данными.
¶ Редактирование рабочей области
Для редактирования рабочей области выполните следующие действия:
- В разделе Работа с данными определите рабочую область, которую необходимо отредактировать, нажмите ••• в конце строки и выберите пункт «Редактировать».
- В открывшейся форме внесите необходимые изменения.
- Нажмите Сохранить.
Изменения отразятся в интерфейсе.
¶ Удаление рабочей области
Для удаления рабочей области выполните следующие действия:
- В разделе Работа с данными определите рабочую область, которую необходимо удалить, нажмите ••• в конце строки и выберите пункт «Удалить».
- В открывшейся форме введите название удаляемой рабочей области.
- Нажмите Удалить.
Рабочая область будет удалена.
¶ Просмотр рабочей области
Для перехода в выбранную рабочую область нажмите на её название в таблице со списком рабочих областей.
Страница рабочей области состоит из следующих модулей:
- Источники данных
- Потоки данных
- Модели данных
При переходе в рабочую область по умолчанию открывается модуль Источники данных.
Модули Таблицы и Расписания, а также разделы Извлечения и Трансформации в модуле Потоки данных недоступны в текущей реализации VK Process Mining
¶ Источники данных
В модуле Источники данных хранятся настройки подключения к стороннему источнику данных. Источники данных используются для настройки получения данных и загрузки их в модель данных в Аналитический сервис. Источники данных содержат формы настройки для подключения к базам данных и тестирования подключения.
При переходе в модуль Источники данных отображается список подключенных источников. Информация о подключенных источниках представлена в табличном виде:
- Тип источника
- Название источника
- Статус
- Создал
- Дата и время создания
- Обновил
- Дата и время обновления
На странице также доступна кнопка Создать для создания нового источника данных.
¶ Создание источника данных
Для создания источника данных выполните следующие действия:
- В разделе Работа с данными определите необходимую рабочую область и перейдите в неё нажатием на её название.
- В открывшемся окне убедитесь, что выбран модуль Источники данных.
- Нажмите Создать.
- В появившейся форме заполните поля:
- Название источника данных — наименование источника данных в интерфейсе.
- Описание — дополнительная информация о создаваемом источника данных.
- Тип базы данных — выбирается из списка.
- Хост — имя или IP-адрес сервера.
- Порт — порт сервера. По умолчанию 5432.
- База данных — наименование базы данных
- Схема базы данных — наименование схемы базы данных
- Имя пользователя базы данных — имя пользователя для подключения к БД.
- Пароль — пароль пользователя для подключения к БД
- Нажмите Сохранить.
Созданный источник данных отразится в модуле Источники данных.
¶ Редактирование источника данных
Для редактирования источника данных выполните следующие действия:
- В разделе Работа с данными в таблице определите необходимую рабочую область и перейдите в неё нажатием на её название.
- В открывшемся окне убедитесь, что выбран модуль Источники данных.
- В таблице определите источник данных, который требуется отредактировать и перейдите в него нажатием на его название.
- В открывшейся форме внесите требуемые изменения.
- Нажмите Сохранить.
¶ Проверка статуса соединения
Для проверки соединения с базой данных выполните следующие действия:
- В разделе Работа с данными в таблице определите необходимую рабочую область и перейдите в неё нажатием на её название.
- В открывшемся окне убедитесь, что выбран модуль Источники данных.
- В таблице определите источник данных, который требуется отредактировать и перейдите в него нажатием на его название.
- Нажмите Проверить подключение
Актуальный статус подключения будет отображен рядом с кнопкой и в таблице в списке источников данных.
¶ Удаление источника данных
Для удаления источника данных выполните следующие действия:
- В разделе Работа с данными в таблице определите необходимую рабочую область и перейдите в неё нажатием на её название.
- В открывшемся окне убедитесь, что выбран модуль Источники данных.
- В таблице определите источник данных, который необходимо удалить, нажмите ••• в конце строки и выберите пункт «Удалить».
- В появившемся окне подтвердите совершение действия**.**
¶ Потоки данных
Модуль Потоки данных предназначен для извлечения, трансформации и загрузки данных в Модели данных из сторонних источников. Количество потоков данных в рамках рабочей области не ограничено.
При переходе в модуль Потоки данных отображается список подключенных источников. Информация о потоках данных представлена в табличном виде:
- Название потока
- Создал
- Дата и время создания
- Обновил
- Дата и время обновления
На странице также доступна кнопка Создать для создания нового источника данных.
¶ Создание потока данных
Для создания потока данных выполните следующие действия:
- В разделе Работа с данными определите необходимую рабочую область и перейдите в неё нажатием на её название.
- В открывшемся окне убедитесь, что выбран модуль Потоки данных.
- Нажмите Создать.
- В появившейся форме заполните поля:
- Название потока данных — наименование потока данных в интерфейсе.
- Описание — дополнительная информация о создаваемом потоке данных. Заполнение поля опционально.
- Нажмите Создать поток данных.
Созданный поток данных отразится в таблице в модуле Потоки данных.
¶ Редактирование потоков данных
Для редактирования рабочей области выполните следующие действия:
- В разделе Работа с данными определите необходимую рабочую область и перейдите в неё нажатием на её название.
- В открывшемся окне убедитесь, что выбран модуль Потоки данных.
- В таблице определите поток данных, который необходимо отредактировать, нажмите ••• в конце строки и выберите пункт «Редактировать».
- В открывшейся форме внесите необходимые изменения.
- Нажмите Сохранить.
¶ Удаление потоков данных
Для удаления потока данных выполните следующие действия:
- В разделе Работа с данными в таблице определите необходимую рабочую область и перейдите в неё нажатием на её название.
- В открывшемся окне убедитесь, что выбран модуль *Потоки данных.
- В таблице определите поток данных, который необходимо удалить, нажмите ••• в конце строки и выберите пункт «Удалить».
- В появившемся окне подтвердите совершение действия**.**
¶ Просмотр потока данных
Для перехода в выбранный поток данных нажмите на его название в таблице со списком потоков данных.
На открывшейся странице отображается список моделей данных, которые содержатся в выбранном потоке данных. Информация на странице представлена в табличном виде:
- Название модели — наименование модели данных в интерфейсе
- Статус — текущий статус модели данных:
- Не загружалась — объект создан, но данные в аналитический сервис не загружались.
- Загружена — загрузка данных выполнена без ошибок.
- Ошибка — в процессе выполнения возникла ошибка.
- Остановлена — процесс выполнения остановлен пользователем.
- В очереди — модель ожидает своей очереди на выполнение.
- В процессе — модель в процессе формирования.
¶ Модели данных
Модель данных создается только в рамках Потока данных и содержит описание правил формирования физической модели данных в Аналитическом сервисе: ER-диаграмму связей между таблицами, разметку таблицы журнала событий и атрибуты таблицы экземпляров процесса.
¶ Добавление модели данных в поток
Для добавления модели данных выполните следующие действия:
- В разделе Работа с данными определите необходимую рабочую область и перейдите в неё нажатием на её название.
- В открывшемся окне убедитесь, что выбран модуль Потоки данных.
- Нажмите Создать.
- В появившейся форме заполните поля:
- Название модели данных — наименование модели данных в интерфейсе.
- Описание — дополнительная информация о создаваемой модели. Заполнение поля опционально.
- Нажмите Создать модель данных.
¶ Работа с моделью данных
Для работы с моделью данных нажмите на её название в таблице со списком моделей данных. Откроется страница, состоящая из следующих вкладок:
- Графическое представление
- Календарь
- Переменные
- Названия колонок
- Журнал загрузок — недоступно в текущей реализации.
¶ Графическое представление
По умолчанию страница открывается на вкладке с графическим представлением модели данных.
На странице расположен рабочий стол с таблицами, добавленными в модель данных.
Также на странице доступны следующие кнопки.
— для отображения иерархического списка доступных источников данных.
— для отображения окна параметров выбранной таблицы. Окно состоит из следующих вкладок:
- Связи — отображает текущие связи выбранной таблицы с другими таблицами, добавленными в модель данных. Также здесь есть возможность создать новую связь.
- Конфигурация процесса — содержит набор полей, с помощью которых можно детально настроить роль выбранной таблицы в процессе. Опционально для заполнения, если не настроить и загрузить модель, то система будет работать в BI-режиме.
- Свойства таблицы — недоступно в текущей реализации.
- Данные источника — недоступно в текущей реализации.
Загрузить данные — для загрузки данных в аналитическую модель.
Добавление новых таблиц на рабочий стол осуществляется перетаскиванием с зажатой кнопкой мыши необходимой таблицы из списка источников данных на пустую область рабочего стола.
¶ Настройка связей между таблицами
Раздел позволяет связать таблицы, которые используются в модели.
Для создания новой связи выполните следующие действия:
- На рабочем столе определите необходимую таблицу и нажмите на неё.
- Нажмите на для перехода к параметрам таблицы.
- В открывшемся окне параметров на вкладке Связи нажмите Создать связь.
- Заполните открывшуюся форму «Создание связи»:
- Таблица 1 и 2 — выбор из списка таблиц, участвующих в модели. В поле первой таблицы по умолчанию выбрана таблица, из настроек которой было инициировано создание связи.
- Колонка 1 и 2 — выбор из списка колонок, имеющихся в указанных таблицах. Нажатие на Добавить колонку позволяет добавить дополнительные колонки в каждую из таблиц.
- Нажмите Создать.
Тип связи не устанавливается, он будет определен автоматически при загрузке.
Не поддерживается связь многие-ко-многим. Такое отношение необходимо разделить и сформировать промежуточную таблицу, чтобы их двух таблиц получилось три, которые связаны по правилу один-ко-многим.
¶ Просмотр связей
Для просмотра существующих связей выполните следующие действия:
- На рабочем столе определите необходимую таблицу и нажмите на неё.
- Нажмите на для перехода к параметрам таблицы.
- На вкладке Связи в табличном виде будут указаны все имеющиеся связи для выбранной таблицы:
- таблицы, с которыми связана выбранная таблица, в качестве родительской или дочерней;
- колонки, участвующие в связях.
¶ Редактирование связей
Для редактирования существующих связей выполните следующие действия:
- На рабочем столе определите необходимую таблицу и нажмите на неё.
- Нажмите на для перехода к параметрам таблицы.
- В списке связей таблицы определите связь, которую необходимо отредактировать.
- В конце строки со связью нажмите ••• и в контекстном меню выберите пункт Редактировать.
- Внесите требуемые изменения.
- Нажмите Сохранить.
¶ Удаление связей
Для удаления существующих связей выполните следующие действия:
- На рабочем столе определите необходимую таблицу и нажмите на неё.
- Нажмите на для перехода к параметрам таблицы.
- В списке связей таблицы определите связь, которую необходимо удалить.
- В конце строки со связью нажмите ••• и в контекстном меню выберите пункт Удалить.
- Подтвердите выполнение действия.
¶ Настройка конфигурации процесса
Настройка конфигурации процесса осуществляется в параметрах таблицы на вкладке Конфигурация процесса.
Перед настройкой конфигурации процесса необходимо настроить связи между таблицами.
Модель данных может иметь как несколько конфигураций процесса, так и не иметь их вовсе. Если в модели данных отсутствует настроенная конфигурация, то работа с моделью будет доступна только в BI-режиме. Все функции Process Mining будут скрыты, процессные функции не будут работать. Если в модели настроено больше одной конфигурации процесса (настроено несколько журналов событий), то в этом случае один из журналов событий всегда должен быть настроен «основным»:
- Первая таблица, указанная как журнал событий маркируется как «Основной журнал событий».
- Пользователь может выбрать другую таблицу в качестве «Основного журнала событий» , при условии, что она имеет признак «журнал событий» и не является основным.
Для настройки конфигурации процесса необходимо выполнить следующие действия:
- На рабочем столе определите необходимую таблицу и нажмите на неё.
- Нажмите на для перехода к параметрам таблицы.
- Перейдите на вкладку Конфигурация процесса.
- Заполните поля:
- Участвует в процессе, как — выбор из выпадающего списка:
- Не участвует — таблица не участвует в конфигурации процесса, дополнительных действий не требуется. Выбрано по умолчанию.
- Таблица процессов — участвует в конфигурации в качестве таблицы процессов. Рекомендуется сначала разметить именно их.
- Таблица событий — таблица событий. Выбор этого значения открывает форму настройки.
- Основная таблица — признак основной таблицы событий. Устанавливается по умолчанию для первой настроенной таблицы событий.
- Таблица экземпляров процесса — выбор из выпадающего списка таблиц, выбранных как «Таблица процессов» и имеющих настроенную связь с таблицей событий. Если поле не активно, значит таблица процессов не размечена или с ней не настроено связи..
- Поле идентификатора экземпляров процесса — выбор из списка полей текущей таблицы. Заполняется, только в случае если в модели не предусмотрено таблиц процессов.
- Имя события — наименование события, которое зарегистрировано в ИС и соотносится с действием в бизнес-процессе. Заполняется списком полей текущей таблицы.
- Признак сортировки — числовой признак сортировки для определения правильной последовательности параллельных событий в цепочке. Заполняется списком полей текущей таблицы.
- Дата начала / окончания события — дата и время начала и окончания события. Заполняются списком полей текущей таблицы.
- Участвует в процессе, как — выбор из выпадающего списка:
¶ Удаление настройки конфигурации процесса
Для удаления настройки конфигурации процесса выполните следующие действия:
- На рабочем столе определите необходимую таблицу и нажмите на неё.
- Нажмите на для перехода к параметрам таблицы.
- Перейдите на вкладку Конфигурация процесса.
- В поле «Участвует в процессе, как» выберите значение «Не участвует».
¶ Загрузка данных в модель
Для загрузки данных в модель выполните следующие действия:
- В выбранной модели данных добавьте необходимые таблицы из списка источников данных на рабочий стол.
- Установите необходимые связи между таблицами.
- Настройте конфигурацию процесса.
- Нажмите Загрузить данные.
После нажатия кнопки будет отображен один из следующих статусов:
- В очереди на выполнение,
- Выполняется.
- Выполнено успешно,
- Ошибка. Текст ошибки можно увидеть в таблице со списком моделей данных, наведя курсор мыши на статус загрузки.
¶ Календарь
На вкладке Календарь осуществляется работа с рабочим расписанием.
Вкладка «Календарь» доступна, если в модели настроена хотя бы одна конфигурация процесса.
¶ Настройка рабочего расписания
¶ Выбор расписания из шаблона
Пользователь имеет возможность выбора из предустановленных рабочих расписаний. Доступные шаблоны:
- 5/2, 09:00 - 18:00 — отмечает дни понедельник – пятница. Время начала 09:00:00. Время окончания 17:59:59.
- 5/2, 10:00 - 19:00 — отмечает дни понедельник – пятница. Время начала 10:00:00. Время окончания 18:59:59.
- 5/2, 00:00 - 24:00 — отмечает дни понедельник – пятница. Время начала 00:00:00. Время окончания 23:59:59.
- 6/1, 09:00 - 21:00 — отмечает дни понедельник – суббота. Время начала 9:00:00. Время окончания 20:59:59.
- 7/7, 09:00 - 21:00 — отмечает дни понедельник – воскресенье. Время начала 9:00:00. Время окончания 20:59:59.
- Производственный календарь 2024г. 5/2, 09:00 – 18:00 — отмечает дни понедельник – пятница. Время начала 09:00:00. Время окончания 17:59:59. Добавляет праздничные и выходные дни, а также дополнительные рабочие дни согласно производственному календарю за 2024 год.
- Производственный календарь 2025г. 5/2, 09:00 – 18:00 — отмечает дни понедельник – пятница. Время начала 09:00:00. Время окончания 17:59:59. Добавляет праздничные и выходные дни, а также дополнительные рабочие дни согласно производственному календарю за 2025 год.
¶ Настройка расписания пользователем
Пользователь самостоятельно настраивает рабочее расписание, указывая:
- Рабочие дни недели — ставится отметка напротив выбранного дня недели.
- Если день недели выбран рабочим — становится доступным ввод рабочего времени.
- При снятии отметки с рабочего дня — введенное время очищается и поля рабочего времени становятся недоступными.
- Рабочее время — указывается время начала и завершения рабочего дня. Время завершения не может быть меньше времени начала.
- Праздничные и выходные дни — выбирается только дата, время не указывается.
- Дополнительные рабочие дни — выбирается дата и указывается рабочее время.
- Нажмите Сохранить и пересчитать для сохранения внесённых изменений.
¶ Переменные
На вкладке Переменные пользователь может задавать свои переменные.
Переменные бывают:
- статичные,
- динамические,
- глобальные.
Сферы применения:
- Статичные переменные — содержат в себе часть SQL-запроса или целый запрос. Можно:
- Вставлять из переменной часть SQL-запроса или целый запрос.
- Вставлять в заголовок виджета переменную, которая содержит в себе запрос. Он будет выполняться каждый раз при отображении данного виджета.
- Динамические переменные — по умолчанию создаются пустыми. Далее им можно присваивать разные значения с помощью выпадающих список в отчете.
- Глобальные переменные — являются определенными в системе
- Список глобальных переменных:
- $$user.username — текущий пользователь
- $$user.email — email текущего пользователя
- $$user.last_name — фамилия текущего пользователя
- $$user.first_name — имя текущего пользователя
- $$model.loaded_at — дата и время последней успешной загрузки модели
- Глобальные переменные не могут быть переопределены пользователем
- Глобальные переменные не могут быть использованы в виджете «Выпадающий список»
- Список глобальных переменных:
¶ Названия колонок
На вкладке Названия колонок пользователь может задать, просмотреть и отредактировать произвольные псевдонимы и описания для колонок и таблиц модели данных.
Для того, чтобы задать пользовательские названия и описания колонок выполните следующие действия:
-
В выбранной модели данных перейдите на вкладку Названия колонок.
-
Нажмите на гиперссылку Скачать заполненный шаблон, чтобы скачать файл со списком таблиц и колонок модели в формате XLSX.
Файл-шаблон содержит два листа: tables и columns.
Лист tables содержит колонки:- Таблица — название таблицы в модели.
- Отображаемое имя — пользовательское наименование таблицы.
- Описание — произвольное описание таблицы.
Лист columns содержит колонки:- Таблица — название таблицы в модели.
- Колонка — название колонки в модели.
- Отображаемое имя — пользовательское наименование колонки
- Описание — произвольное описание таблицы.
-
Заполните файл шаблона и сохраните изменения
-
Загрузите заполненный файл в систему.