Техническая архитектура

прототипов Глобального центра информационной системы и Центра сбора данных и продукции российского сегмента информационной системы Всемирной метеорологической организации

версия 1.3 от 25-02-2011

Содержание

1 ОБЩИЕ ПОЛОЖЕНИЯ.. 4

1.1 Наименование системы и ее условное обозначение. 4

1.2 Общие сведения об Информационной системе ВМО.. 4

1.3 Назначение и цели. 7

1.4 Нормативно-технические документы.. 7

2 ОБЩЕЕ ОПИСАНИЕ РАБОТЫ СИСТЕМЫ... 10

2.1 Состав процедур с учетом обеспечения взаимосвязи и совместимости процессов автоматизированной и неавтоматизированной деятельности. 10

2.2 Организация работ в условиях функционирования системы.. 10

3 АРХИТЕКТУРА СИСТЕМЫ... 13

3.1 Структура системы, перечень и характеристика компонент. 13

3.2 Способы и средства связи между компонентами. 33

3.3 Взаимосвязи со смежными системами. 33

3.4 Режимы функционирования и диагностирования системы.. 35

3.5 Функции, выполняемые системой. 35

4. ИНФОРМАЦИОННОЕ ОБЕСПЕЧЕНИЕ СИСТЕМЫ... 39

4.1 Состав, структура и способы организации данных. 39

4.2. Спецификации взаимодействия и взаимосовместимости. 39

5 ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ СИСТЕМЫ... 53

5.1 Общее программное обеспечение. 53

6 ТЕЛЕКОММУНИКАЦИОННОЕ ОБЕСПЕЧЕНИЕ.. 56

7 КОМПЛЕКС ТЕХНИЧЕСКИХ СРЕДСТВ.. 57

Сокращения и обозначения

АПК

Аппаратно-программный комплекс

АСПД

Автоматизированная система передачи данных

АРМ

Автоматизированное рабочее место

БД

База данных

ГУ “ВНИИГМИ-МЦД”

Государственное учреждение “Всероссийский научно-исследовательский институт гидрометеорологической информации – Мировой центр данных” (Росгидромет)

ГИС

Геоинформационная система

ГСТ

Глобальная система телесвязи

ГЦИС

Глобальный центр информационной системы ВМО

ВМО

Всемирная метеорологическая организация

ЕСКК

Единая система классификации и кодирования

ИС ВМО

Информационная система Всемирной метеорологической организации

ИСО

Международная организация стандартизации

НИР

Научно-исследовательская работа

ОС

Операционная система

ПО

Программное обеспечение

ПЭВМ

Персональная электронно-вычислительная машина

ПСД

Платформа сбора данных

Росгидромет

Федеральная служба по гидрометеорологии и мониторингу окружающей среды

СУБД

Система управления базами данных

НЦ

Национальный центр

ЦСДП

Центр сбора данных и продукции

1 ОБЩИЕ ПОЛОЖЕНИЯ

1.1 Наименование системы и ее условное обозначение

Полное наименование системы: Прототипы Глобального центра информационной системы (ГЦИС) и Центра сбора данных и продукции (ЦСДП) российской части информационной системы Всемирной метеорологической организации (ИСВ)

Краткое наименование системы: Р-ИСВ (прототип)

1.2 Общие сведения об Информационной системе ВМО

Длительное время в ВМО для распространения и предоставления информации использовалась ГСТ (GTS, Global Telecommunication System). В последнее время также широко применяется интернет для данных, не включенных в сеть ГСТ. В настоящее время осуществляется переход к распределенной инфраструктуре Информационной системы ВМО (ИСВ), использующей современные информационные технологии управления распределенными информационными ресурсами национальных метеорологических служб и удаленного доступа к данным.

1.2.1 Организационно-функциональная структура ИСВ

В ИСВ определены 3 уровня центров (рисунок 1), объединенных между собой телекоммуникационной сетью:

-  Глобальные центры информационной системы - ГЦИС (Global Information System Centre - GISC);

-  Центры сбора данных и продукции - ЦСДП (Data Collection and Production Centre - DCPC);

-  Национальные центры метеорологических служб - НЦ (National Centre - NC).

Рисунок 1 – Обобщенная структура ИСВ

В целях обеспечения связанности ИСВ глобальные центры информационных систем (ГЦИС/GISC) будут осуществлять сбор и распространение глобальной информации. Эти центры будут являться точками входа пользователей благодаря унифицированным порталам и каталогам метаданных, для запросов на предоставление данных, хранящихся в ИСВ. Должны быть задействованы механизмы как для распространения информации по подписке, так и обеспечения запросов на наборы данных, задаваемые пользователями интерактивно.

Подсоединенные к ГЦИС центры сбора данных или продукции (ЦСДП) будут отвечать за сбор или производство наборов региональных или специализированных данных, прогностической продукции, обработанной или дополнительной информации, а также за распространение региональной и/или специализированной информации, предоставление услуг по ее архивации.

Национальные центры (НЦ/NC) будут осуществлять сбор и распространение данных на национальном уровне, а также координировать или уполномочивать использование ИСВ национальными пользователями, обычно в рамках процедур, учрежденных соответствующим постоянным представителем при ВМО.

1.2.2 Технические спецификации построения ИСВ и примеры их реализации

Техническая концепция ИСВ основана на “интероперабельности”[1] участвующих информационных систем с применением стандартов ИСО серии 191xx.

Взаимодействие участвующих систем должно производиться на заданных технических спецификациях совместимости ГЦИС, ЦСДП и НЦ:

-  ТС 1 ИСВ - Загрузка метаданных для данных и продукции;

-  ТС 2 ИСВ - Загрузка данных и продуктов;

-  ТС 3 ИСВ - Централизация глобально распределяемых данных;

-  ТС 4 ИСВ - Обеспечение идентификационной и ролевой информации пользователей;

-  ТС 5 ИСВ – Консолидированное представление распределенной идентификации и ролевой информации пользователей;

-  ТС 6 ИСВ - Аутентификация пользователя;

-  ТС 7 ИСВ - Авторизация роли пользователя;

-  ТС 8 ИСВ - Поиск и выборка данных через каталог метаданных;

-  ТС 9 ИСВ – Консолидированное представление о каталогах распределенных метаданных;

-  ТС 10 ИСВ - Скачивание файлов через выделенные сети;

-  ТС 10 ИСВ - Скачивание файлов через невыделенные сети;

-  ТС 12 ИСВ - Скачивание файлов другими способами;

-  ТС 13 ИСВ - Обеспечение распределения метаданных;

-  ТС 14 ИСВ – Консолидированное представление распределенных каталогов метаданных;

-  ТС 15 ИСВ - Отчетность о качестве обслуживания.

Построение ИСВ планируется осуществить посредством назначения и организации работы НЦ, ЦСДП и ГЦИС, обеспечивая выполнение спецификаций. Это означает, что при построении ИСВ не предусматривается использование единого специально разработанного программного обеспечения.

Вместе с тем, существует ряд проектов, связанных с разработкой информационного, программного, технического обеспечения выполнения функций ГЦИС, ЦСДП и НЦ. Несколько примеров дано ниже.

В рамках проекта Европейского Сообщества в г. г. разработан программно-технологический комплекс SIMDAT для европейского виртуального ГЦИС (организации европейских метеорологических служб Франции – MeteoFrance, Германии – DWD, Великобритании – MetOffice, Норвегии – HMI, Европейский центр прогнозов – EDMWF, Европейская организация по использованию метеорологических спутников – EUMETSAT). Комплекс состоит из следующих компонент:

-  Репозиторий данных – интерфейс к локальным данным организаций-участников;

-  Каталог – ядро SIMDAT, предоставляющее серию сервисов – синхронизацию локальных и централизованного каталога, поддержку запросов, авторизацию и аутентификацию пользователей;

-  Портал –интерфейс пользователя, обеспечивающий поиск, запросы, загрузку данных и др.

Компания Meteo France International предлагает технологию Центральной системы информации и обработки (CIPS), содержащую решения как по интеграции метеорологических данных и совместному их использованию, так и по организации распределенной сети вычислений для обеспечения работы численных моделей погоды. Технология CIPS обеспечивает[2] функции сбора, накопления и обмена метеорологическими данными и продукцией в соответствии с техническими спецификациями ВМО и предлагается для использования при создании ЦСДП и ГЦИС.

В ГУ «ВНИИГМИ-МЦД» Росгидромета разработаны технологии интеграции разнородных и распределенных информационных ресурсов и обслуживания комплексной информацией, составляющие инфраструктуру Единой системы информации об обстановке в Мировом океане (ЕСИМО). Технологии и их компоненты разработаны на основе современных технологий и с учетом требований технических спецификаций ВМО. Технологии успешно применены в прототипе ИСВ для функционирования ЦСДП (Обнинск, ВНИИГМИ-МЦД), представляющего сеть источников данных Совместной комиссии по океанографии и морской метеорологии (СКОММ). На их основе разработан Портал океанографических данных Межправительственной океанографической комиссии (версия 1). Портал используется для построения морского сегмента ИСВ в рамках пилотного проекта «Интегрированная система наблюдений ВМО (WIGOS) ».

В ГУ «ВНИИГМИ-МЦД» Росгидромета разработана система CliWare, обеспечивающая сбор, раскодирование и управление оперативной и климатической гидрометеорологической информацией. Комплекс базируется на веб-технологиях и может быть использован как для обеспечения информационных потребностей организаций, так и представления оперативной гидрометеорологической информации в Интернет.

Технологии и комплексы ЕСИМО и система CliWare были интегрированы и оформлены в качестве программного комплекса интеграции и распространения гидрометеорологической информации (ПК ИРГИ, см. п. 1.4.).

1.3 Назначение и цели

Прототип Р-ИСВ предназначен для разработки технических решений и макетирования средств эффективного обмена гидрометеорологическими данными и продукцией, автоматизированного доступа к ним, развития международного обмена данными и продукцией с другими элементами ИСВ с применением современных информационных технологий.

Прототип Р-ИСВ должен обеспечить достижение следующих целей:

– интеграция оперативных и неоперативных, разнородных и распределенных данных и продукции Росгидромета;

– информационное взаимодействие с зарубежными ГЦИС, ЦСДП и НЦ;

– телекоммуникационный доступ к интегрированным ресурсам системы и предоставление информации в соответствии с правами пользователей;

– контроль и управление работой всех компонент российской части ИСВ.

1.4 Нормативно-технические документы

При разработке технической архитектуры прототипа Р-ИСВ использованы следующие нормативные документы:

1.  ГОСТ 34.601-90. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания;

2.  ГОСТ 34.201-89. Информационная технология. Комплекс стандартов на автоматизированные системы. Виды, комплексность и обозначение документов при создании автоматизированных систем;

3.  РД 50-34.698-90. Методические указания. Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Требования к содержанию документов.

4.  WMO Information System. Functional architecture. World Weather Watch Information Systems and Services Division. – WMO, 20p.

5.  WMO Information System compliance specifications of GISC, DCPC, and NC. World Weather Watch Information Systems and Services Division. – WMO, 20p.

6.  WMO Information System. Designation procedures for GISC and DCPC. – WMO, 20p.

7.  ISO 19100. [Электронный ресурс] - Режим доступа: http://www. iso. org/iso/support/faqs/faqs_widely_used_standards/, свободный

8.  XML Schema. [Электронный ресурс] - Режим доступа: http://www. w3.org/XML/Schema, свободный

9.  ISO 19115.Geographic information - Metadata [Электронный ресурс] - Режим доступа: https://committees. standards. org. au/COMMITTEES/IT-004/PRIVATE/I0028/ISO%2019115%20.pdf, свободный

10.  WMO Core Metadata. [Электронный ресурс] - Режим доступа: http://www. wmo. ch/pages/prog/www/metadata/WMO-core-metadata. pdf , свободный

11.  NetCDF. [Электронный ресурс] - Режим доступа: http://www. unidata. ucar. edu/software/netcdf/ , свободный

12.  NetCDF Java (version 2.1) User Manual. [Электронный ресурс] - Режим доступа: ftp://ftp. unidata. ucar. edu/pub/netcdf-java/v2.1/NetcdfJavaUserManual. pdf, свободный

13.  GRIB. [Электронный ресурс] - Режим доступа: http://www. grib. us/, свободный

14.  BUFR. [Электронный ресурс] - Режим доступа: http://dss. ucar. edu/docs/formats/bufr/, свободный

15.  CREX. [Электронный ресурс] - Режим доступа: http://www. ecmwf. int/products/data/software/crex. html , свободный

16.  Simple Object Access Protocol (SOAP). [Электронный ресурс] - Режим доступа: http://www. w3.org/TR/soap/, свободный

17.  Web Services Description Language (WSDL). [Электронный ресурс] - Режим доступа: http://www. w3.org/TR/wsdl, свободный

18.  Universal Description, Discovery and Integration (UDDI). [Электронный ресурс] - Режим доступа: http://uddi. microsoft. com/, свободный

19.  OAI-PMH : The Open Archives Initiative Protocol for Metadata Harvesting, Protocol Version 2.0. Documentation dated available at <URL:http://www. openarchives. org/OAI/openarchivesprotocol. html>.

20.  SRU : Search/Retrieval via URL. Version is 1.2 documentation dated available at <URL:http://www. loc. gov/standards/sru/index. html>.

21.  CSW : Catalogue Services for the Web. Documentation (part of OpenGIS® Catalog Services Specification version 2.0.2) available at <URL:http://www. opengeospatial. org/standards/cat>.

2 ОБЩЕЕ ОПИСАНИЕ РАБОТЫ СИСТЕМЫ

2.1 Состав процедур с учетом обеспечения взаимосвязи и совместимости процессов автоматизированной и неавтоматизированной деятельности

Р-ИСВ должна осуществлять сквозной процесс сбора, обмена, распространения и предоставления гидрометеорологических данных и продукции.. Информационное ядро Р-ИСВ представляет система распределенных баз данных (СРБД), интегрирующая данные и продукцию взаимодействующих ГЦИС, ЦСДП и НЦ.

Основные процедуры работы, выполняемые центрами Р-ИСВ, включают:

1)  сбор информации по сети передачи данных (ГСТ/АСПД Росгидромета), а также специализированных, программно-ориентированных данных и продукции по своей зоне ответственности, региональной продукции;

2)  регистрация и поддержка актуальности данных и продукции в виде ресурсов СРБД Р-ИСВ;

3)  управление метаданными по объектам системы (ресурсы, сервисы, пользователи, компоненты);

4)  обмен информацией между центрами Р-ИСВ, включая обеспечение ГЦИС информацией для международного обмена по технологии "pull" (запрос/ответ) и "push" («выталкивание» информации по расписанию);

5)  обмен информацией с внешними ГЦИС ИСВ по запросам и расписанию;

6)  обеспечение информацией национальных центров, внешних и внутренних пользователей;

7)  хранение данных наблюдений и продукции предназначенной для международного обмена в течение не менее 24 часов:

8)  идентификация и авторизация пользователей, ведение консолидированой базы данных пользователей Р-ИСВ;

9)  информационное обслуживание с использованием порталов ГЦИС и ЦСДП;

10)  обеспечение процедуры резервного копирования и восстановления основных ресурсов и сервисов системы;

11)  управление системой, включая диспетчеризацию взаимодействия ГЦИС, ЦСДП и НЦ, мониторинг состояния ресурсов и сервисов, производительности системы, отчетность о работе системы.

2.2 Организация работ в условиях функционирования системы

Организационно-функциональная архитектура Р-ИСВ (рисунок 2) наследует конструкцию Информационной системы ВМО. При этом учитывается условие - построение Р-ИСВ не должно привести к переработки существующей организационно-функциональной структуры Росгидромета.

Рисунок 2 – Видение Общая структура Р-ИСВ

Выполнение задач Р-ИСВ осуществляется организациями Росгидромета, выполняющими роль центров данных Р-ИСВ в соответствии с нормативным документом, названным “Регламент работы центра Р-ИСВ”. В документе должна быть определена область ответственности центра, перечень информации, обрабатываемой центром и предоставляемой в Р-ИСВ, состав, технические условия и регламент выполнения работ.

Выделены следующие категории центров Р-ИСВ:

-  национальные центры сбора данных (НЦ или ЦСД) – ЦГМС и , УГМС и ЦГМС-Р (с региональными функциями);

-  центры сбора данных и продукции (ЦСДП) – организации Росгидромета, выполняющие научно-исследовательскую и производственную деятельность в рассматриваемой области;

-  главный центр Р-ИСВ (ГЦИС) – выделенная организация Росгидромета для координации функционирования Р-ИСВ.

Роль НЦ/ЦСД:

-  сбор данных по зоне ответственности от платформ сбора данных и получение регламентированной продукции, включение данных в АСПД Росгидромета (на переходной период) и СРБД Р-ИСВ;

-  поддержка базы данных с оперативными и историческими данными и продукцией;

-  получение информации из Р-ИСВ и обслуживание на локальном и региональном уровне.

Роль ЦСДП:

-  сбор информации от НЦ по сети передачи данных и через СРБД Р-ИСВ;

-  подготовка регламентированной продукции в соответствии с тематической (географической) областью ответственности;

-  ведение локальных данных и метаданных, включение в Р-ИСВ данных и продукции;

-  информационное обслуживание пользователей по своей области ответственности с использованием всех данных Р-ИСВ;

информационное обеспечение национальных центров с использованием данных глобального и регионального обмена;

-  хранение информации по своей зоне ответственности и восстановление баз данных центра после сбоев.

-  обмен информацией глобального обмена с ГЦИС

Роль ГЦИС:

-  сбор информации от НЦ по сети передачи данных и через систему распределенных данных Р-ИСВ;

-  обмен информацией с предписанными НЦ и всеми ЦСДП Р-ИСВ;

-  предоставление информации другим ГЦИС ИСВ по запросам и расписанию, хранение информации 24 часа;

-  мониторинг функционирования Р-ИСВ – контроль и координация действий по выполнению обязательств, взаимодействию и обслуживанию, ведение учетной информации о пользователях и статистики системы;

-  ведение локальной системы данных, системных метаданных и их включение в Р-ИСВ по регламенту;

-  информационное обслуживание глобального характера с использованием всех данных Р-ИСВ.

3 АРХИТЕКТУРА СИСТЕМЫ

3.1 Структура системы, перечень и характеристика компонент

3.1.1. Модель Р-ИСВ

В техническом плане Р-ИСВ представляет собой совокупность взаимодействующих компонентов. Компонент представляет собой IP-адресуемый аппаратно-программный комплекс (АПК), выполняющий те или иные процедуры согласно п.2.1. Компоненты размещаются во взаимодействующих информационно-технологических узлах системы – центрах НЦ, ЦСДП и ГЦИС (рисунок 3). Узел Р-ИСВ представляет собой комбинацию компонентов, обеспечивающих функции, согласно назначению.

Рисунок 3- Архитектурная модель Р-ИСВ

Реализуется единая схема сбора, обработки, распространения и предоставления данных и продукции (далее – данных, если не требуется уточнение) по следующим уровням иерархии:

-  ГЦИС ИСВ содержат максимальный набор компонентов;

-  ЦСДП ИСВ имеет назначенный состав компонентов, взаимодействует с подчиненными НЦ и с ГЦИС для приема - передачи метаданных и данных по зоне ответственности и тематике;

-  НЦ ИСВ отвечает за подготовку и передачу метаданных и данных в вышестоящий узел (ЦСДП и /или ГЦИС), а также для представления данных внутренним пользователям.

Внутри ГЦИС взаимодействие компонент осуществляется на стандартах и средствах взаимодействия и взаимосовместимости, рассматриваемые в п.4. и 5.2. и под управлением экземпляра сСервисной шШины на узле системы.

Межузловое взаимодействие осуществляется на основе стандартов ИСВ ВМО;

Информационное обслуживание осуществляется на основе единой политики доступа к данным Р-ИСВ.

Выделены следующие базовые соглашения в архитектуре:

-  Использование сервис-ориентированного подхода;

-  Применение централизованной политики доступа к данным;

-  Построение узлов системы на базе комбинации набора компонент;

-  Применение стандартов семейства ISO 191xx и OGC;

-  Использование преимущественно открытого программного обеспечения;

-  Наличие центрального интеграционного слоя для каждого узла.

3.1.2 Компоненты Р-ИСВ

Для Р-ИСВ выделен следующий набор компонент (рис.4):

-  Обработчик ГСТ;

-  Поставщик Данных;

-  Сервер Интеграции;

-  Сервисная шина;

-  Каталог метаданных

-  Портал ГЦИС

-  Сервис безопасности.

Рисунок 4 – Компонентная структура Р-ИСВ

3.1.2.1 Обработчик ГСТ

Осуществляет ввод потоков данных, поступающих от ГСТ/АСПД по сокетному и FTP протоколам, обеспечивает формирование наборов данных, ведение каталогов информации и их распределение согласно таблицам кроссирования. Формирование имен файлов осуществляется согласно правилам ВМО о наименовании файлов. Распределение данных осуществляется по протоколам FTP и SMTP. Обработка содержимого потоков данных не осуществляется.

Функциональная структура компоненты:

Сбор данных ГСТ по сокетному протоколу из национальной сети МЕКОМ и протоколам FTP, SMTP, HTTP.

При обработке данных ГСТ осуществляется:

-  автоматический прием информации;

-  распознавание видов информации, формирование каталогов поступления бюллетеней, ведение базы данных поступивших бюллетеней;

-  распаковка информации, формирование каталогов поступления сообщений, ведение базы данных поступивших сообщений;

-  декодирование сообщений, контроль метеорологического содержания наблюдений, ведение базы данных гидрометеорологических характеристик, формирование каталогов базы данных гидрометеорологических характеристик

Сбор данных не ГСТ по протоколам FTP, SMTP, HTTP.

При обработке данных ГСТ осуществляется:

-  автоматический сбор данных;

-  формирование каталогов поступления данных;

-  ведение базы данных гидрометеорологической информации.

При сборе данных ГСТ по протоколу FTP в назначенной директории формируются файлы сообщений с наименованиями, соответствующими соглашению ВМО о наименовании файлов. В соответствии с этими именами файлов можно вычислить или узнать у службы наименование записи метаданных.

Сбор данных не ГСТ предполагает, что файлы не содержат сокращенных заголовков, и их наименование не может быть использовано для установления соотношения между файлом данных и записью метаданных. В этом случае соответствие устанавливается следующим образом: Один или несколько файлов упаковываются в файл с расширением zip и уникальным именем. Файл содержит упакованные данные и ссылку на существующие метаданные.

Данные ГЦИС, ЦСДП, НЦ поступают по протоколу FTP ВМО в соответствии с правилами о соглашении имен.

Распределение информации осуществляется в целях обеспечения соответствующего ГЦИС данными для международного обмена, а также обеспечения информацией национальных центров, внешних и внутренних пользователей. При этом реализуются два режима - "push" и "pull".

3.1.2.2 Поставщик Данных

Компонент отвечает за создание метаданных, регистрацию и включение в Р-ИСВ проблемно-ориентированных данных и продукции. Компонент (табл.1) выступает в роли «агента-посредника» между Р-ИСВ и локальной системой данных.

Компонент обеспечивает:

-  Создание метаданных;

-  Жизненный цикл метаданных согласно данным;

-  Событийную схему взаимодействия с Р-ИСВ;

-  Поддержку локальных систем в виде СУБД (SQL-подобных баз данных), структурированные файлы, объектные файлы данных, каталоги данных на FTP/HTTP.

Таблица 1. Состав служб Поставщика Данных

Название службы

Решаемые задачи

Управления

Создание и управление метаданными (информационные ресурсы). Ведение жизненного цикла метаданных – актуализация по данным, автоматическое создание метаданных экземпляров информационных ресурсов. Прием, обработка и выполнение запросов на данные. Мониторинг и журналирование всех этапов процессов. Публикация журналов работы.

Доступ к СУБД

Доступ к БД (локальным, серверным) и выборку данных ЦСДП.

Доступ к структурированным файлам

Доступ к структурированным файлам данных ЦСДП

Доступ к объектным файлам

Доступ к файловым источникам данных ЦСДП, не обрабатываемым сервисами технологии

Доступ к удаленным источникам

Доступ к каталогам данных ЦСДП, НЦ на FTP и HTTP-серверах, OGC-сервисам.

Форматирование данных

Формирование данных в формате NetCDF (полученных в результате выполнения запроса на данные)

Транспортный сервис

Прием запросов на данные. Отправка уведомлений о приеме запросов на обработку. Уведомления об изменении метаданных, выполнения запроса на данные. Синхронизация ОКК с удаленным репозиторием.

Планировщик заданий

Управление процессами запуска задач (актуализация метаданных и данных, КЭШа и т. п.)

Мониторинг и отчетность

Контроль работы планировщиков задач. Ведение журнала обработки и выполнение WS/API-сигнализации о статусе выполнения задач и заданий. Обработка ошибок и исключений. Ведение журналов обработки и статистики. Публикация журналов.

Служба управления является ядерным и управляет всей работой ПД. Мониторинг всех этапов процессов на ПД, а также накопление статистики по показателям, осуществляется согласно общесистемному подходу с использованием лог-файлов и оповещений через веб-сервисы. Служба отвечает за поддержку актуальности ОКК с внешнего источника (Сервера Интеграции) по событию и/или расписанию.

Выделены следующие виды запросов в службу управления:

-  запрос на метаданные;

-  запрос на данные;

-  статус (выполнения запроса);

-  получение данных;

-  событие (обновления ОКК и т. п.).

В случае запроса на данные или запуска процесса актуализации информационного ресурса (ИР), происходит обработка запроса и определение принадлежности ИР системе хранения согласно указанному значению элемента метаданных описания ИР, формирование условий поиска по заданным критериям.

В том случае если ИР описывает данные ГСТ, то происходит передача запроса в службу доступа к ГСТ для его выполнения. Служба доступа к ГСТ осуществляет доступ к таблице бюллетеней С1 и базе данных ГСТ, создание наборов описаний ресурсов и экземпляров по видам информации и времени обновления файлов данных бюллетеней (каждые час, три часа, день и пр.). Служба позволяет автоматически создавать описания бюллетеней и ссылки на данные к ним по сигналу от службы управления (по событию, по расписанию). Процесс работы службы также логируется для схемы мониторинга и разбора исключительных ситуаций.

ИР может быть представлен набором таблиц в СУБД. Служба доступа к БД осуществляет доступ к различным SQL-подобным СУБД на основании требований службы управления. Данная служба является низовой и отвечает за выборку данных из БД и их передачу для дальнейшей обработки в службу управления.

Поставщик Данных также позволяет регистрировать информационные ресурсы на базе файлов структурированных (CSV, TSV, фиксированные позиции элементов) и неструктурированных (изображения, объекты, не разбираемые форматы и т. п.). Служба доступа с СФД осуществляет разбор и выборку данных из структурированных файлов, поддерживаемых ПД. После выполнения запроса результат возвращается в службу управления. Этапы выполнения выборки (поиск и открытие файлов, чтение и т. п.) заносятся в журнал ПД.

Запрос на объектные файлы или удаленные источники (WMS-сервис, каталог данных на FTP) выполняется с использованием описаний экземпляров ИР и ключевым элементам метаданных, участвующим в запросе (координаты, параметры и т. п.). В службу управления возвращается набор ссылок на файлы данных или соответствующие WMS-сервисы.

После выполнения запроса на данные/процесса актуализации результат возвращается в службу управления. Служба управления производит вызов сервиса форматирования данных. Данные, полученные от служб доступа СУБД и СФД, конвертируются в транспортные файлы данных (ТФД) в формате NetCDF CF согласно структуре разбиения потока данных, зафиксированного в описании ИР. В случае актуализации ИР, и если режим кэширования включен или предусмотрен режим накопления КЭШа, полученные ТФД публикуются в репозиторий данных для хранения. При запросе на данные, публикация осуществляется во временный репозиторий пользователя. Данные, полученные от служб доступа к ОФД и удаленным источникам, трансформации не подлежат. После завершения процесса форматирования данных, ПД возвращает контроль службе управления.

В случае выполненного процесса актуализации ИР, ПД сигнализирует СИ о завершенном процессе. По сигналу СИ выполняет синхронизацию описаний ИР, загрузку КЭШа или сгенерированных ТФД. В случае выполненной задачи доставки данных, ПД сигнализирует СИ о завершении процесса для инициализации загрузки данных со стороны СИ.

За сетевой уровень взаимодействия ПД с СИ, включающий в себя прием запросов на данные, отправку уведомлений и возврат результатов и данных, отвечает транспортный сервис, работающий по протоколам HTTP и SOAP.

3.1.2.3 Сервер Интеграции

Компонент обеспечивает (табл.2):

-  Сбор и накопление метаданных из Р-ИСВ;

-  Доступ к данным Р-ИСВ;

-  Накопление и хранение (КЭШ) данных Р-ИСВ (минимум 24 часа);

-  Доставку и распространение данных (по технологиям “pull” и “push”);

-  Публикацию метаданных для других ГЦИС (через компонент «Каталог метаданных»);

-  Контроль доступности НЦ и ЦСДП в Р-ИСВ;

-  Обеспечение взаимодействия с другими ГЦИС, ЦСДП и НЦ.

Таблица 2.Состав служб Сервера Интеграции

Название службы

Решаемые задачи

Загрузка и управление метаданными

Сбор метаданных от ПД и их публикация. Ведение Каталогов метаданных, распространения информации, публикация каталогов для различных целей (НЦ, ЦСДП/ГЦИС)

Управление метаданными

Ведение консолидированных Каталогов ресурсов, пользователей, распространения информации, публикация каталогов для МО и других целей.

Синхронизация и консолидация метаданные

Обмен метаданными с ГЦИС/ЦСДП

Взаимодействие с другими системами

Взаимодействие с внешними информационными системами (внешние ГЦИС, др.) посредством обмена метаданными со ссылками на файлы данных, переформатирование и усвоение метаданных для расширения ресурсов

Предоставление и распространение данных

Выполнение запросов (“pull”), распространение данных (“push”) согласно каталогу распространения информации: глобально распространяемая информация, для НЦ по зоне ответственности, по подписке. Накопление КЭШа данных.

Загрузка и управление данными

Сбор данных. Реформатирование и агрегация информации.

Мониторинг и отчетность

Контроль работы планировщиков задач. Ведение журнала обработки и выполнение WS/API-сигнализации о статусе выполнения задач и заданий. Обработка ошибок и исключений. Отслеживание доступности ПД, регулярности поступления описаний ресурсов/экземпляров. Ведение журналов обработки и статистики. Публикация журналов.

Служба загрузки и управления метаданных осуществляет сбор метаданных с ПД (ЦСДП и НЦ) и их публикацию в общий Каталог распространения и других целей, синхронизирует описания информационных ресурсов и другие системные метаданные с системными метаданными, описывающие локальную систему данных и хранящиеся на стороне ПД - станции наблюдения, НЦ, ЦСДП.

Служба управления метаданными осуществляет ведение системных метаданных, включая взаимодействие с репозиторием кодов и словарем параметров. Производит обращения к системным кодам, их отображение на программные компоненты, синхронизацию удаленных репозиториев и локального репозитория метаданных. Обеспечивает поддержку каталогов источников данных, ресурсов, пользователей и распространения информации.

Служба обмена метаданными с внешними по отношению к Р-ИСВ ГЦИС/ЦСДП находится в ведении службы синхронизации и консолидации и осуществляется по протоколам HTTP, SOAP и FTP. СИ данного узла Р-ИСВ синхронизирует перечисленные выше каталоги с другими узлами системы – внутренними ЦСДП/ГЦИС. Синхронизация метаданных осуществляется по событию посредством вызова соответствующего веб-сервиса и получения метаданных в текстовом или объектном виде.

Обмен метаданными с другими системами (внешними ГЦИС/ЦСДП) осуществляется с использованием ПО Geonetwork. Основное требование к обменным метаданным (описаниям ИР) – наличие ссылок на файлы с данными. Процесс публикации метаданных обмена включает в себя следующие операции:

-  трансформация метаданных из формата Р-ИСВ в ИСО 19115/19139 с использованием XSLT;

-  программное отображение формата Р-ИСВ в ИСО 19115/19139 на уровне объектов с использованием технологии JAXB.

Служба позволяет включать в Р-ИСВ метаданные из зарубежных систем и сегментов ИСВ с последующим конвертированием в формат метаданных Р-ИСВ.

Служба предоставления данных взаимодействует с источниками посредством отправки сообщения - запроса (на основе выбранных критериев поиска во внешнем приложении) в соответствующие источники данных (соответствующему Поставщику Данных). Регламент работы – по запросу или по расписанию. Механизмы взаимодействия – «pull» по HTTP, SOAP.

Из за большого объема этот материал размещен на нескольких страницах:
1 2 3