БФТ-Холдинг развернул витрины данных для Минфина России

Теперь ведомства-пользователи Национальной системы управления данными (НСУД) могут получать оперативный доступ к информации об объектах капитального строительства, исполнителях государственных (муниципальных) услуг и другим сведениям.

Государственная интегрированная информационная система управления общественными финансами «Электронный бюджет» (ГИИС «Электронный бюджет») — это основная информационная система Минфина России, состоящая из множества подсистем, модулей и отдельных компонентов. Указанная информационная система содержит сведения об участниках бюджетного процесса, государственных (муниципальных) работах и услугах, управлении закупками и расходами в рамках бюджетных обязательств, а также другую информацию. С хранящимися в ГИИС «Электронный бюджет» сведениями работают сотрудники федеральных и региональных органов исполнительной власти, отвечающие за бюджетные процессы своих организаций, — потребители данных.

Для уменьшения количества запросов на получение данных из ГИИС в собственные информационные системы, поступающих из ведомств-потребителей, в Министерстве финансов Российской Федерации приняли решение о создании витрин данных, чтобы снизить нагрузку на основные ресурсы и более оперативно предоставлять ответы на запросы пользователей. При предполагаемом среднем времени ответа на запрос 60 секунд реальное среднее время ответа составило 0,408 секунды, максимальное время ответа — 0,76 секунды; при планируемой средней нагрузке 150 запросов в секунду витрина держит нагрузку более 410 запросов в секунду, а максимальная нагрузка составила 2330 запросов в секунду.

Проект выполнили АО «Главный научный инновационный внедренческий центр» совместно со специалистами БФТ-Холдинга. В результате был обеспечен доступ потребителей к следующим витринам данных Минфина России, созданным в рамках данного проекта:

1. «Объекты капитального строительства, сводная бюджетная роспись, нормативная справочная информация».
2. «Информация о соглашениях (договорах) о предоставлении из федерального бюджета (бюджетов субъектов Российской Федерации, местных бюджетов) субсидий, бюджетных инвестиций, межбюджетных трансфертов, отчетности по ним».
3. «Сведения о паспортах государственных программ».
4. «Реестр исполнителей государственных (муниципальных) услуг в социальной сфере в соответствии с социальным сертификатом на получение государственной (муниципальной) услуги в социальной сфере».

БФТ-Холдинг реализовал витрины данных Минфина России, используя в качестве решения типовое тиражируемое ПО «Витрина данных НСУД».

В ходе проекта была внедрена и настроена подсистема загрузки данных с разработкой компонента загрузки данных, который осуществляет извлечение данных из внешних источников, их трансформацию, очистку и последующую загрузку в хранилище данных (созданы реляционная база данных и файловое хранилище, где хранятся образы документов). Доступ к данным осуществляется через систему межведомственного электронного взаимодействия СМЭВ 4 посредством регламентированных запросов к таблицам витрин данных. Построенная подсистема мониторинга позволяет ответственным сотрудникам министерства осуществлять контроль работы витрин данных, получать статистику, оперативно реагировать на возможные сбои. Указанная подсистема обеспечивает полноту, непротиворечивость и связность поступающих в витрины данных и позволяет предоставлять потребителям информацию, которая полностью соответствует данным, находящимся в хранилищах ГИИС «Электронный бюджет».

Особенностью проекта стала «историческая», то есть накопленная за весь период хранения, загрузка данных в витрины данных из информационной системы Минфина России. Так, на витрину данных «Информация о соглашениях (договорах) о предоставлении из федерального бюджета (бюджетов субъектов Российской Федерации, местных бюджетов) субсидий, бюджетных инвестиций, межбюджетных трансфертов, отчетности по ним» было выгружено около 3 млн документов, то есть все утвержденные соглашения о предоставлении субсидий с момента реализации этого компонента в ГИИС «Электронный бюджет».

Структура данных на витринах данных достаточно сложна по атрибутивному составу и взаимосвязям между таблицами базы данных: в рамках проекта для отображения на витринах данных Минфина России было внесено более 100 таблиц и 2 000 атрибутов. Поэтому для более удобного доступа потребителей к нужной информации была создана база данных и задействовано хранилище данных S3. В реляционной базе данных хранятся плоские таблицы, которые содержат данные с базовым набором атрибутов, достаточных для аналитики, а в хранилище данных S3 находятся XML-файлы с полным набором атрибутов для более глубокой детализации с ссылкой на данные из таблиц. Такой архитектурный подход позволяет потребителям данных упростить анализ полученных сведений.

В целом по всем витринам данных было загружено около 16 млн исторических записей.