Archives de catégorie : Réflexions/outils

Cette rubrique a pour objectif de proposer une boite à outils ( technique et scientifique) sur la constitution et l’usage de corpus d’archives numériques.

Gérer les données de la recherche, de la création à l’interopérabilité ( 3/3)

3/3 –   L’interopérabilité en action

Depuis 3 ans, la TGIR Huma-Num organise annuellement une ANF sur les données de la recherche. Après la visualisation des données, l’architecture du web sémantique, cette année s’est centrée sur la problématique de l’interopérabilité des données de la recherche.

Nous vous proposons à travers une série de trois billets, un aperçu des enseignements de cette formation. Après avoir vu dans un premier billet l’importance des métadonnées, de leurs usages, et une introduction au Web de données (billet 1), les formats des fichiers (billet 2) , le dernier billet propose de revenir sur plusieurs retours d’expérience d’équipes et programmes de recherche en SHS qui se sont emparés de la question de l’interopérabilité au sein de leur projets.

Vincent Jollivet et Fréderic Glorieux travaillent pour le projet de l’observatoire de la vie littéraire qui cherche à développer l’analyse de corpus littéraire en s’appuyant sur les outils numériques et les dispositifs du web, en particulier la TEI.

Ils sont revenus tous les deux sur la gestion et l’exploitation des métadonnées dans le cadre de constitution de bibliothèques numériques. Vincent Jollivet a souligné les problèmes liés aux métadonnées : il est souvent plus facile – mais peu indiqué pourtant- de tordre les modèles et les standards requis, venant biaiser leur utilisation, les applications développées courent parfois le risque aussi de figer un modèle qui parce que collaboratif et libre est susceptible d’évoluer, certains logiciels peuvent enfin quelque fois nuire à l’interprétation des balises. Pour éviter ces erreurs, des initiatives communes ont été mises en œuvre. Le consortium CAHIER de la TGIR Huma-Num est l’une d’entre elles. Réunissant différents laboratoires de recherches français travaillant sur des « corpus d’auteurs » de littérature, philosophie ou de thématique liée à une école ou à une pratique, ce consortium travaille depuis 2011 à produire des guides de bonnes pratiques. Fréderic Glorieux a présenté une des formes possibles de l’exploitation des métadonnées en revenant sur une initiative de fouilles de données de la BNF. A découvrir sur son carnet de recherche http://resultats.hypotheses.org/518.

Véronique Ginouvès a proposé de son côté de revenir sur la valorisation des données de la phonothèque de la Maison méditerranéenne des sciences de l’homme (MMSH). La phonothèque s’appuie sur la base de données Ganoub, le fonds se compose de plus de 5000 heures d’écoute. Pour mieux faire connaitre les richesses de ce fonds mais aussi pour le faire vivre et l’enrichir, Véronique Ginouvès a participé à plusieurs projets collectifs et collaboratifs. A chaque fois, il a fallu se confronter et/ou participer à la construction du modèle de structuration partagé et aux standards et référentiels adaptés. Elle a ainsi exposé quatre expériences de contribution : au portail du patrimoine oral, à la structuration des métadonnées pour un moissonnage par ISIDORE, à la description des données pour CALAMES et enfin la participation de la phonothèque au projet européen Europeana Sounds.

Voir son support de présentation :

 Stéphane Pouyllau a présenté les résultats du programme de recherche « Usines 3D » dont le but est de mieux documenter l’histoire du travail industriel. L’interopérabilité des données a été nécessaire à la réalisation du projet en permettant la constitution de corpus documentaires composés de documents de nature, localisation et support diversifiés qui offraient la possibilité d’être réutilisés, revisités par l’ensemble des équipes associés aux programmes. L’intéropérabilité  a été un enjeu important du traitement numérique des documents, du croisement de l’information et les modalités virtuelles offertes pour interpréter les documents en question. Dans ce projet, le modèle 3D n’était pas l’objectif, mais l’outil d’interprétation (la plateforme d’expérimentation) de la recherche historique. Ce programme de recherche a donné lieu à un documentaire «  L’usine en perspective » réalisé en 2012 par Olivier Rignault et produit par Alain Pichon. Il met en scène l’organisation du travail pluridisciplinaire et retrace les étapes du projet. Ce film est disponible dans la rubrique réalisations du site Usine 3D du projet.

Les services d’Huma-Num au service des chercheurs

A travers ces trois billets, nous avons tenté de dresser  un éventail des interventions et contenus de la formation, mais tout ne peut être dit. Cette semaine , en effet, a aussi été l’occasion pour les stagiaires de mieux se familiariser avec les outils et services proposés par la TGIR  Huma-Num. Ces services et outils   évoluent et s’enrichissent  en fonction des usages, pratiques et attentes  des chercheurs qui participent aux équipes des consortiums et plus largement à tous ceux qui entendent se saisir des outils numériques et des technologies du Web pour mieux faire avancer la recherche en sciences humaines et sociales.

 Pour plus d’informations : consultez la rubrique services et outils du site de la TGIR Huma-Num.

Image1

Pour finir, revenons sur l’intervention d’Adrien Desseigne (TGIR Huma-Num) qui a présenté l’un des derniers outils mis au point par les équipes d’Huma-Num : la version mobile d’ISIDORE. Un billet posté sur le carnet d’Huma-Num,  revient sur ses fonctions et possibilités .

mLien vers l’application : http://m.rechercheisidore.fr/

Consulter les deux billets précédents :

Vous pouvez lire  deux autres compte-rendus

© Image à la une : Adrien Desseigne

Gérer les données de la recherche, de la création à l’interopérabilité (2/3)

2/3 –  Interopérabilité des données et pérennité des formats

 Depuis 3 ans, la TGIR Huma-Num organise annuellement une ANF sur les données de la recherche. Après la visualisation des données, l’architecture du web sémantique, cette année s’est centrée sur la problématique de l’interopérabilité des données de la recherche.

Nous vous proposons à travers une série de trois billets, un aperçu des enseignements de cette formation. Après avoir vu dans un premier billet l’importance des métadonnées et leurs usages, arrêtons-nous, sur les formats des fichiers avec la présentation proposée par Alexandre Granier (CINES).

Des normes et des standards

Le CeCINESntre Informatique National de l’Enseignement Supérieur (CINES) a deux missions : le calcul intensif et l’archivage pérenne des données de la recherche, c’est-à-dire la conservation à long terme de l’information numérique. Pour cela, le Cines a reçu l’agrément des Archives de France et l’accréditation « Data Seal of Approval » .

Il s’appuie sur le Référentiel général d’interopérabilité (RGI) qui regroupe un ensemble de préconisations énoncées par la direction générale de la modernisation de l’Etat et qui s’adresse à tous les services publics d’Etat ou territoriaux. Les préconisations concernent les protocoles, les formats et la sémantique (vocabulaire commun). Ce document fait aussi le point sur l’état des standards en matière de formats.

Il convient ici de bien distinguer les données qui sont des représentations de l’information, des formats qui sont des conventions pour représenter l’information.

Le codage

A la base de la représentation de l’information il y a le codage (correspondance entre deux modes de représentations ou deux langages) et en particulier le codage des caractères. Il existe plusieurs standards. Le code ASCII est un standard américain qui permet de représenter, en code numérique les caractères sur 7bits (soit 128 caractères). Il est adossé à la norme ISO8859. Le système UNICODE a ensuite était développé comme standard, pour prendre en considération les accents et représenter toutes les langues, il est lié à la norme ISO 10646. l’UFT8 et plus récemment l’UFT16 permet de rendre opérable en pratique l’utilisation de l’Unicode .

La typologie des formats :

  • Un format peut être spécifié, c’est-à-dire suffisamment bien décrit pour en développer une implémentation
  • Un format peut être ouvert: la convention est publique, sinon, on dit que le format est fermé. En France cela est codifié dans une loi du 21 juin 2004.
  • Un format peut être normalisé: Un ensemble d’association s’entendent pour adopter la convention et l’utiliser.
  • U format peut-être standardisé: Il est très utilisé et de ce fait il est reconnu comme standard.
  • Un format peut-être propriétaire. Il dépend de l’existence d’un propriétaire qui peut choisir de l’ouvrir ou non.
  • Enfin un format peut-être dérivé d’autres formats (le HTML vient par exemple du SGML)

RQ : A une autre échelle on distingue les formats « conteneurs » qui encapsule d’autres formats «  les codecs », c’est notamment le cas pour les fichiers video.

L’identification et validation des formats

Les paramètres précédents sont à prendre en compte pour déterminer la pérennité d’un fichier et pour en assurer une meilleure interopérabilité. Pour savoir si un fichier est interopérable, il faut qu’il réponde aux critères suivants :

  • spécification ouverte et accessible
  • format largement utilisé
  • logiciels permettant d’exploiter le format
  • existence d’outils permettant la migration vers un autre format
  • indépendance (à d’autres formats, à une plateforme, etc.)

Si l’ensemble de ces critères est respecté, l’étape suivante est d’identifier le fichier et sa version et savoir s’il n’est pas endommagé.

Pour cela le CINES a mis au point un outil unique FACILE qui réunit Des outils, comme d’identification des fichiers (comme DROID, Mediainfo, etc.) et de validation syntaxique et sémantique (type JHOVE, Mkvalidator JSstor, etc.) .

Image1

La migration des formats

Les formats sont évolutifs, des versions peuvent se succéder, certains peuvent être maintenus quand d’autres ne sont plus mis à jour ou plus adoptés aux transformations technologiques. Il est donc important d’assurer une veille constante pour parer à l’obsolescence du format. Pour assurer l’archivage des données qu’il conserve, le CINES exerce cette veille et assure la migration de données quand cela devient nécessaire.

Pour conclure, il faut souligner logo-petit-hn-rvbverbe-archiver-bandeauque la TGIR Huma-Hum et le CINES collabore, en particulier sur la question de l’archivage des données de la recherche en SHS.

Pour en savoir consultez la page : http://www.huma-num.fr/services-et-outils/archiver

Consulter les billets en relation:

© image à la une =  www.cines.fr

Gérer les données de la recherche, de la création à l’interopérabilité (1/3)

Depuis 3 ans, la TGIR Huma-Num organise annuellement une action nationale de formation (ANF) sur les données de la recherche. Après la visualisation des données, l’architecture du web sémantique, cette année s’est centrée sur la problématique de l’interopérabilité des données de la recherche.

Nous vous proposons à travers une série de trois billets, un aperçu des enseignements de cette formation qui s’est déroulée du 21 au 25 septembre 2015.

1/3  – Du bon usage des métadonnées

 

La semaine a débuté par l’exposé de Valérie Tesnières, directrice d’études à l’EHESS et  actuelle directrice de la Bibliothèque de documentation internationale contemporaine (BDIC). Partant des différentes cultures professionnelles à l’œuvre dans la gestion des données et métadonnées de la recherche en sciences humaines et sociales (SHS), Valérie Tesnières est revenue sur l’évolution des pratiques introduite par le passage d’un web documentaire à un web de données.  L’enjeu pour les ingénieurs, documentaires, archivistes est aujourd’hui moins de produire de données que de les connecter les unes avec les autres. Les protocoles mis en place  ne sont pas abandonnés mais valorisés et utilisés dans des logiques nouvelles qui  repose sur l’ interopérabilité des données et permet de rendre plus visibles mais aussi dans certaines conditions réutilisables et enrichissables les productions de la recherche en sciences humaines et sociales (shs). Ces orientations nouvelles se doivent d’être raisonnées. Il ne s’agit pas de plier la recherche aux conditions techniques mais bien que le développement technique et numérique se trouvent au service de la recherche.

Savoir quelles données rendre interopérables, et pourquoi, induit une problématisation des attentes par les chercheurs, nécessite une collaboration plus étroite entre les différentes sphères de la production de la connaissance et une anticipation toujours plus en amont sur le formatage et la structuration des données enfin elle rend nécessaire une réflexion sur les usages et usagers attendus des données produites.

De l’importance des métadonnées

Produire des métadonnées permet à la fois l’interopérabilité des données et leurs assure une meilleure pérennisation.  Elles servent à documenter les données. Leur forme dépend du contexte, de l’objet décrit et des objectifs de partage et conservation. A fonction diverses (intellectuelle, technique, juridique, hiérarchisation des données, etc.) correspond divers standards et différentes typologies de métadonnées  (textuelles, visuelles, formules, etc.)

Plusieurs des interventions et ateliers de la formation ANF 2015 sont revenus sur la formalisation des métadonnées et leurs fonctions, en particulier celle de Catherine Morel-Pair (Inist-CNRS).

Les différents standards qui ont été présentés s’appuient sur des vocabulaires de description standardisés (Dublin Core, EAD, etc.) et des syntaxes d’écriture (Tableaux, XML, RDF, JSON, etc.). Soulignons ici, l’importance du Dublin Core. Il est un standard largement utilisé pour partager et mutualiser les données de la recherche. Il se trouve à la base de l’OAI-PMH et du Web de données. Particulièrement bien adapté à la description bibliographique il repose sur 15 éléments qui peuvent être enrichis (on parle alors du Dublin Core qualifié ou étendu).

D’autres formats de métadonnées existent pour fournir des informations de nature spécifique, le standard EXIF pour les spécifications de formats d’images, les métadonnées de standard METS pour la structure et les liens des données d’un corpus, les licences creative commons peuvent aussi être considérées comme des métadonnées relatives aux droits, etc.

Le Dublin Clogo-petit-nakala-rvbore est le standard choisi par Nakala l’un des services développés par la TGIR Huma-Num. Nakala permet une description a minima ou plus affinée des données qui y sont déposées par les équipes de recherches, à partir du schéma de métadonnée fourni par le Dublin Core.

video-481821__180Voire à ce sujet le tutoriel vidéo proposer par Huma-Num : Déposer et documenter ses données dans NAKALA

L’OAI-PMH

L’OAI-PMH (Open Archives Initiative Protocol for Metadata Harvesting) est un protocole métier entre un producteur de données (provider) et un client (harvest) pour le moissonnage des données. Il repose sur un vocabulaire simplifié et partagé (ressource, item, Record, Set) sur une structure de notice commune (avec une partie header et une partie métadonnées). Le format des métadonnées correspond a minima à celui du Dublin Core  . Six verbes (Identify, ListMetadataFormats, ListSets, ListIdentifiers, ListRecords, GetRecord) permettent de réaliser le moissonnage des données et de transmettre par set ou par item les données du fournisseur au client.

Le service proposé par la TGIR Huma-Num NAKALA, offre pour chaque compte un flux OAI-PMH qui repose sur le Dublin Core  simple ou étendu et permet le moissonnage des données.

L’OAI-PMH est aujourd’hui très répandu pour permettre l’interopérabilité des données dans le domaine de la recherche scientifique comme dans celui du patrimoine.

Le Web de données

L’OAI-PMH n’est pas le seul protocole métier qui rend possible la circulation des données ; ils sont même très nombreux sur le web. Le rôle des informaticiens face à ce paysage est de les traduire, les convertir et les aligner dans le but de rendre toujours plus facilement les données interopérables. La traduction a pour but de multiplier les équivalences entre des types d’objets, de liens, des catégories de classifications et des individus.

Thomas Francart (Société Sparna) à travers ses ateliers et exposés a permis aux stagiaires de s’initier au Web de données et d’en faire ressortir les enjeux.

Le Web des données est un langage informatique qui permet de structurer les contenus pour améliorer à la fois la recherche d’informations, la synonymie, la polysémie et le multilinguisme des données qui sont accessibles à l’utilisateur en un langage humain.

Pour cela il procède à la formalisation descriptions de données (métadonnées) à partir de 3 élément : Sujet – Verbe – Complément.

Le Web de données permet de mieux identifier les données en traduisant de façon non ambiguë des termes des ontologies, en langage machine.

Il est de bon usage d’utiliser des URI qui à la différence de l’URL n’est pas une adresse (une localisation de la donnée) mais l’identifiant de la donnée elle-même. Aujourd’hui on parle plus souvent des IRI (International Resource Identifier) qui correspond à des URIs Unicode. Ce sont les identifiants pérennes ou permaliens.

LOD_Cloud_Diagram_as_of_September_2011

A partir de la structuration des données et de leurs identifiants, il devient alors possible de relier les données « dans » le web. Par exemple on peut relier des données qui parle d’une même sujet, on peut faire des équivalences (synonymie, multilinguisme, etc.) ont peut utiliser une donnée comme complément ou verbe d’une autre donnée définie comme sujet, etc. La constitution de graphes permet de réutiliser des données déjà disponibles sur le web pour former de nouveaux ensembles de connaissances.

Le Web des données émerge alors de la multiplication des triplets « Sujet verbe complément » qui sont reliés entre eux et qui en viennent à former des graphes rendant le Web interopérable. Il repose sur une grammaire le RDF, des vocabulaires RDFS/OWL, des règles d’écritures (Turtle, RDF/XML, RDFa) et des moyens de communications le SPARQL.

Le service NAKALA permet aux projets de recherche qui s’en saisissent de s’inscrire dans le Web de données en fournissant notamment des identifiants pérennes aux données qui y sont sont déposées et en permettant leur conversion RDF (3store) Image1

La place des référentiels pour l’ouverture des données

La constitution de graphes permet de réutiliser des données déjà disponibles sur le web pour former de nouveaux ensembles de connaissances. On distingue trois types d’informations qui correspondent à trois niveaux d’interprétation les vocabulaires contrôlés, les notices d’autorités et les notices, l’interopérabilité des données se joue à chacun de ces niveaux.

Pour l’interopérabilité au niveau des notices l’exemple cité fut celui du réseau des CDI des collèges et lycées français (Canopé) qui cherche à enrichir ses catalogues à partir de données de la BNF, via les data.bnf. Le VIAF Virtual International Authority File et ISNI ont servi d’illustrations pour l’interopérabilité des notices d’autorités. Pour l’interopérabilité au niveau des vocabulaires, nous avons eu l’occasion de découvrir l’usage de SKOS qui est un vocabulaire RDF permettant de décrire des vocabulaires contrôlés ou des thésaurus. Pour l’illustrer, c’est initiative de l’IRSTEA qui a été prise en exemple. Cet institut a récemment transformé son thésaurus en SKOS pour l’aligner sur d’autres thésaurus référents pour les disciplines qu’ils recouvrent (le GEMET et Agrovoc).

L’intervenant Jean Delahousse, (Consultant dans les industries de la connaissance) est revenu sur l’importance de décrire clairement les concepts autant pour les machines (pour leurs permettre de se conjuguer) que pour la compréhension et logique humaine. Bien architecturé le web de données permet de développer un travail collaboratif autour des concepts, il permet d’enrichir les référentiels déjà existants en les faisant dialoguer les uns avec les autres, ici la traçabilité des évolutions est importante. Il donne aussi l’occasion de développer des référentiels spécifiques à des projets de recherche tous en le permettant de rester connectés et ouverts. Ce qui est en train de se construire ce sont les graphes de connaissance et non plus les listes de termes, les concepts sont de plus en plus documentés devenant à leur tour objets de connaissance (à ce sujet voir par exemple les concepts forgés par data.bnf).

logo-isidore-petitISIDORE développée par la TGIR Huma-Num   est une plateforme d’accès  unifié aux documents et données numériques des sciences humaines et sociales. Elle repose sur le langage du web de données. Pour en savoir plus voir la présentation d’ISIDORE sur le site de la TGIR Huma-Num.

Consulter les prochains Billets

Cultures et recherche : vers un moment post-numérique ?

En guise d’introduction par Serge Wolikow, coordinateur du consortium

Ce texte répond à l’appel que nous avons lancé en décembre 2014 pour que reprenne  la réflexion et les échanges  entre  les chercheurs  à partir de leurs expériences respectives. Dans cette contribution est présentée l’ambition d’un projet  à la fois documentaire  et scientifique autour de la  constitution sous forme numérique  des collections de disques des  immigrés dans l’Est de la France – dans les  années  60-90.  Les possibilités offertes par le numérique  pour étudier et constituer ces collections sont soulignées par les auteurs pour autant ils insistent sur les limites   eut égard à la collecte des sources mais aussi à leur usage. Le terme  de post numérique dans ce cas  mérite  attention car il leur sert de cadre  pour penser les usages  paradoxaux des outils numériques  commerciaux ou grands publics  pour envisager de reconstituer des collections lacunaires …

Quoi qu’il en soit   nul doute que cette contribution saura en  encourager d’autres … 

 Cultures et recherche : vers un moment post-numérique ?

Par Paihce-logonagiota Aganostou (Docteure sciences politiques et Didier Francfort (prof. hist. Contemporaine)

Il peut sembler audacieux d’envisager un temps post-numérique alors que la numérisation des sources classiques et la collecte des documents nativement numériques ou obtenus par numérisation est loin d’être achevée. Ce billet est avant tout destiné à participer au débat et à la réflexion collective que le Consortium Archives des Mondes Contemporains a très opportunément ouverts.

Disons-le clairement, nous ne souhaitons pas nous arc-bouter dans une posture passéiste nostalgique de l’âge analogique. Nous ne souhaitons pas plus exprimer, même s’il existe souvent dans notre vie quotidienne de chercheur, notre enthousiasme de néophyte découvrant que la révolution technique numérique permet d’accéder à des sources et des méthodes jusqu’alors inaccessibles. Nous souhaitons exposer la situation de petits groupes de recherche et laboratoires, disposant de ressources budgétaires limitées face aux défis du passage au numérique. Il semble bien que nous partagions avec les institutions pleinement engagées dans les humanités numériques  de nombreux objectifs.

Continuer la lecture de Cultures et recherche : vers un moment post-numérique ?