Семинар проекта ENPI-SEIS по совершенствованию баз

Семинар проекта ENPI-SEIS
по совершенствованию баз данных и
форматов обмена данными
19-21 сентября 2012, Скопье
Игорь Вернер
Цели и задачи семинара
• Организовать работу специфической рабочей группы
по информационным технологиям, деятельность
которой должна должна быть направлена на:
•
Оказание помощи в создании наборов данных, которые
базировались бы исключительно на текущей ситуации в области
обмена екологической информацией, а также определении процедур,
которые могли бы использоваться как основа для осуществления
пилотных действий, определенных в докладах стран и SEIS в регионе
(включая потоки данных)
• Обмен опытом между странами Западно-Балканского
региона, странами ENPI-Юг и ENPI-Восток
Участники семинара
• 12 участников из стран ENPI-Юг (представители
двух стран не смогли присутствовать на встрече)
• 10 участников из стран ENPI-Восток (Молдова и
Грузия не смогли присутствовать на встрече)
• Представители Македонии, Сербии и Хорватии
• Представители Австрийского агентства
окружающей среды, ЮНЕП-МАП, и Экологической
сети Zoi
Программа семинара
• День 1.
– Обмен опытом по созданию систем экологической
информации между различными регионами
• День 2.
– Работа в подгруппах по обсуждению суб-региональных
приоритетов и разработка мини-проектов (ENPI-Юг,
ENPI-Восток)
• День 3.
– Пленарное заседание. Представление работы
подгрупп.
– Выработка рекомендаций по дальнейшей работе
рабочей группы по информационным технологиям
День 1. Обмен опытом по созданию систем
экологической информации
• Представители Македонии, Сербии и Хорватии
поделились опытом сотрудничества с ЕАОС по
реорганизации данных, обеспечению регулярного
потока данных для разработки показателей и их
использования в докладах о состоянии окружающей
среды
• Представители ЕАОС представили «Поваренную книгу
SEIS» и страны прокомментировали структуру и
содержание материалов
День 2. Рабочая группы по вопросам ИТ ENPISEIS Восток
• В ходе встречи обсуждались:
Отчет о проделанной за период работе
Представление результатов и прояснение сведений,
заполненных в вопросниках по метаданным 8-ми
экологических показателей
Представление национального опыта по организации
потоков данных (Беларусь)
Представление опыта Евростата по использованию
стандарта SDMX для обмена статистической информацией
Предложения по основным направлениям работы на
ближайшую перспективу в восточном регионе ENPI-SEIS
Вопросники по метаданным
• Представлены результаты анализа вопросника и
прояснены некоторые нюансы (см. презентация Е.
Сантер)
• Участники высказали пожелания по улучшению
технической стороны построения вопросника:
 Вопросы по форматам данных
 Исключение вопроса № 9
 Включение возможности множественного выбора
 Улучшение вопросов безопасности доступа к заполнению
вопросника
 Другие пожелания
Statistical Data and Metadata еXchange
Что такое SDMX?
– Стандарт для обмена статистическими
данными(метаданными)
– Информационная модель и технические
спецификации
– Основные форматы
• SDMX-ML (основанный на XML)
• SDMX-EDI (также известный как GESMES-TS)
19/09/2012
How
to establish a
common dataset
8
Как сгенерировать SDMX-ML файл?



19/09/2012
SDMX-конвертер
 Java-программа, которая конвертирует плоские
файлы (CSV…) в SDMX-ML файлы
 Программа свободно доступна для загрузки с
сайта Евростата
eDAMIS web-формы (размещены на web-серевере
Евростата)
Позволяет ввести данные в web-форму или
скопировать и вставить данные в таблицу
9
Data Structure Definition (DSD)
… помогает статистикам
… помогает ИТ
Определить таблицы и
кубы данных
Описать обследование
(флаги, итоги, …)
Использовать
классификаторы и
справочники
Дает ИТ инструмент для
проверки
– Структуры данных
– Использованных кодов
Осуществлять
автоматический обмен
информацией
– Между разными
статистическими доменами
– С помощью стандартных
инструментов
– С помощью Web-сервисов
19/09/2012
How
to establish a
common dataset
10
Взгляд Евростата на использованию стандарта SDMX
для организации потоков данных
• Организация потоков данных для получения ENPI-Восток
екологических показателей требует проведения двух этапов:
– Этап 1: концептуальная работа по определению методологии для каждого
показателя
– Этап 2: практическая работа по организации потоков данных для
экологических показателей
• Современные иструменты и форматы передачи данных (в т.ч. SDMX)
• Web-формы
• Разработка структурных метаданных и DSD является общей задачей
соответствующих специалистов и экспертов по формату SDMX. При
этом, разрботка структурных метаданных есть наиболее важный этап
для получения гарантий однородности передаваемых данных.
Предложения по реализации механизма потока
данных
2 набора данных
(отчетность по
межд.
Обязательствам)
9 наборов данных
(отчетность по нац.
обязательствам)
Другие наборы
данных,
необходимые
для разработки
показателей
ENPI – SEIS проект
(6 месяцев)
Определение объемов информации, особенностей
использования стандарта SDMX для обмена
информацией с Reportnet и связи с потоком данных
международной отчетности + рекомендации по
определению структур для оставшихся 9 индикаторов
ENPI – SEIS проект
(следующие 6 месяцев)
Используя результаты СЦГ,
Подготовка и публикация данных в SDMX формате,
размещение метаданных на Reportnet и
обеспечение их связи с национальными данными
опубликованными на вебсайтах или переданных на
Reportnet + рекомендации JTF по определению
структур для других показателей
Показатели по которым наборы данных,
существуют на национальном уровне – (до
конца проекта ENPI-SEIS)
Технические аспекты
связанные с
включением других
показателей
Обсужденные предложения
•
Были одобрены предложения по реализации механизма потока данных с использованием
формата SDMX для обмена данными.
•
Для эффективного вовлечения стран ENPI-SEIS Восток, ЕАОС было предложено подготовить
«дорожную карту» для использования формата SDMX при обмене данными и вынести ее на
обсуждение Руководящего комитета проекта ENPI-SEIS.
•
Страны участники огласили потребности в повышении знаний по современным
информационным технологиям в области создания систем экологической информации,
соответствующим принципам SEIS. При этом любые обучающие мероприятия должны быть
привязаны к конкретным мероприятиям (пилотным проектам).
•
Некоторые страны предложили ускорить реализацию планов внедрения SDMX на
национальном и региональном уровне, они также подчеркнули, что предложенные
мероприятия являются только частичными в построении SEIS – необходимы и другие
пилотные проекты, которые будут поддерживать создание интерактивных сопоставимых
систем по производству и распространению экологической информации в странах ENPI
Восток.
•
Было принято решение рекомендовать JTF опубликовать обновленное Руководство по
применению экологических показателей в cтранах Восточной Европы, Кавказа и
Центральной Азии и разработать спецификации данных для выбранных показателей.