Moose Project > les flux de données > Archivage et mise à disposition

Archivage des données et leur mise à disposition

Les principales caractéristiques du programme MOOSE sont une grande diversité de plateformes (navires, mouillages instrumentés, gliders, flotteurs profileurs …), d’instruments (CTD, courantomètres, ADCP, radars HF, pièges à particules, stations météo, capteurs bio-optiques et biogéochimiques, UVP, etc) et de types de données : continentales (associées aux apports des rivières et aux dépôts atmosphériques) et marines (physiques, chimiques et biologiques) obtenue sous forme, des profils verticaux (continu) et des séries chronologiques (discrètes). La fréquence d’acquisition des données varie en fonction des plateformes et des variables mesurées : d’une fréquence de quelques secondes à horaire pour les capteurs autonomes et les plateformes instrumentées en mer; quotidienne pour les apports fluviaux; bimensuelle pour les dépôts atmosphériques ; de mensuelle à annuelle pour les échantillons collectés en mer.

 Le flux de données produites en temps réel ou en temps différé est considérable et sa gestion représente un véritable défi pour le système d’observation en terme de contrôle qualité (« QC »), mise en forme, archivage, et intégration dans les bases de données.

Le réseau MOOSE s’inscrivant dans un contexte international d’effort d’observation (GOOS), cette composante « data management » s’inscrit naturellement dans les standards internationaux préconisés à ce niveau (SeaDataNet et EMODNET). Cela permet d’assurer une plus large diffusion, en conséquence une meilleure valorisation scientifique de ces observations et assure une interopérabilité entre les bases de données. Cette interopérabilité est primordiale tant au niveau organisationnel de MOOSE (mise en commun de données « multi‐sites ») comme au niveau international (reconnaissance et potentiel accru de collaborations). Les protocoles existants (procédures de contrôle qualité, description de formats, normes d’interopérabilité) ayant déjà fait l’objet d’un consensus (projets internationaux ou européens, normes d’interopérabilité), ils ont été adoptés pour le réseau MOOSE.

Ainsi, dès la création du réseau, il est apparu clairement que la politique de « data management » devait se faire en collaboration ou par intégration dans ces structures existantes. Un document interne (« MOOSE user manual ») a été préparé pour définir les procédures de mise en base et rassembler les métadonnées.

Les données des différents observatoires du système d’observation sont collectées, archivées et mises à disposition en deux temps:

  • Les données « temps réel » (RT) sont transmises directement au « Global Data Assembly Center » Coriolis (GDAC) pour les besoins de l’océanographie opérationnelle. Cela concerne aujourd’hui les profils de température, salinité et oxygène collectés par les navires lors des campagnes MOOSE-GE, ainsi que ceux des plateformes mobiles autonomes (gliders et flotteurs profileurs). Les données sont transmises dans un court délai (<6h), et sont ensuite traitées par les procédures de contrôle qualité et stockage standard au traitement en temps réel propre à Coriolis.
  • Les données « temps différé » (DM) nécessitent une analyse d’échantillons, un traitement après récupération d’un capteur (mouillage, bathysonde), mais concernent aussi les données physiques « temps réel » faisant l’objet post-calibration finale. Elles sont transmises après contrôle qualité (DM QC niveau 1) et validation au centre gestionnaire des données SISMER (www.ifremer.fr/sismer) pour les campagnes en mer et à Coriolis pour les données de mouillage (OceanSites). Elles sont alors accessibles via le portail « Sea scientific open data publication » (www.seanoe.org) qui leur affecte un DOI, et sont ensuite mises à disposition sur la base de données MISTRALS (SEDOO, mistrals.sedoo.fr).

aaa

Cet archivage est par la suite centralisé

par le pôle global pour les données océanographiques ODATIS (www.odatis-ocean.fr).

aaa

If You Need Any Industrial Solution ... We Are Available For You