OpenRefine: traitement de données en masse
1 j'aime2,799 vues
Le document traite de l'utilisation d'OpenRefine pour le traitement de données en masse, avec un historique du développement de l'outil. Il inclut des instructions sur l'installation, la récupération de jeux de données et l'utilisation de plugins pour améliorer les fonctionnalités. Plusieurs exercices pratiques sont également présentés pour illustrer l'application d'OpenRefine dans la gestion des données.
![Les TIC et l'art
OpenRefine
9 juin 2016
Institut national d'histoire de l'art
Accès:
6, rue des Petits-Champs
75002Paris
Adresse postale:
2, rue Vivienne
75002Paris
Métro : Bourse, Pyramides
Palais royal/Musée du Louvre
Tél. : +33 (0) 1 47 03 8984
Fax : +33 (0) 1 47 03 8636
lesticetlart@inha.fr
http://invisu.inha.fr
Qu’est-ce qu’OpenRefine ?
Historique :
2007 mars : Metaweb lance Freebase
2010 : Freebase est proposée avec l’outil de nettoyage et de
traitement des données Gridworks (v1.0)
2010 juillet : Google rachète Metaweb
2010 nov : Gridworks devient Google Refine
2012 oct : Arrêt de Google Refine dont le code est libéré et qui devient
OpenRefine
[2012 : Le contenu de Freebase est transféré sur Wikidata
2014 déc : Google annonce la fermeture de Freebase
2015 : Fermeture progressive de Freebase et des services associés
2016 mai : Fermeture définitive de Freebase
…………………..]](https://image.slidesharecdn.com/openrefine20160609-160609152252/85/OpenRefine-traitement-de-donnees-en-masse-3-320.jpg)
![Les TIC et l'art
OpenRefine
9 juin 2016
Institut national d'histoire de l'art
Accès:
6, rue des Petits-Champs
75002Paris
Adresse postale:
2, rue Vivienne
75002Paris
Métro : Bourse, Pyramides
Palais royal/Musée du Louvre
Tél. : +33 (0) 1 47 03 8984
Fax : +33 (0) 1 47 03 8636
lesticetlart@inha.fr
http://invisu.inha.fr
OpenRefine & les plugins
• Utiliser l’API de Google pour géolocaliser des lieux
• Ajouter à la colonne Lieu_naissance 1, le terme de Etats-Unis
• cells['Lieu_naissance 1'].value + ", Etats-Unis"
• Jouer avec les filtres pour avoir dans la zone centrale, les architectes nés à Bennington, Aurora et Allegheny.
• Lancer la géolocalisation via « by fetching URL »
• "http://maps.google.com/maps/api/geocode/json?sensor=false&address=" + escape(value, "url »)
• Extraite les coordonnées géographiques dans une autre colonne
• with(value.parseJson().results[0].geometry.location, pair, pair.lat +", " + pair.lng)
• Procéder à une « reconciliation » avec VIAF sur les élèves nés à New York
• Créer une colonne avec pour créer le nom complet
• cells['Nom_usuel'].value + ", " + cells['Prenom_usuel'].value
• Filtrer sur les élèves nés à New York
• Procéder à la réconciliation en utilisant le VIAF
• Utiliser l’interface pour valider et choisir la réconciliation
• Créer une colonne en extrayant l’id des résultats de la reconciliation avec VIAF
• cell.recon.match.id
Quelques exemples/exercices -> réponses](https://image.slidesharecdn.com/openrefine20160609-160609152252/85/OpenRefine-traitement-de-donnees-en-masse-11-320.jpg)
![Les TIC et l'art
OpenRefine
9 juin 2016
Institut national d'histoire de l'art
Accès:
6, rue des Petits-Champs
75002Paris
Adresse postale:
2, rue Vivienne
75002Paris
Métro : Bourse, Pyramides
Palais royal/Musée du Louvre
Tél. : +33 (0) 1 47 03 8984
Fax : +33 (0) 1 47 03 8636
lesticetlart@inha.fr
http://invisu.inha.fr
Certains des + d’OpenRefine
• Pouvoir facilement relier 2 projets et ajouter des données de l’un à l’autre des projets
• cell.cross("My Address Book", "friend")[0].cells["address"].value[0]
• Pouvoir sauvegarder et rejouer un ensemble des tâches ultérieurement grâce à un fichier json
• Aller dans l’onglet “Unod/Redo” puis dans Extract/Aplply
• Extraire des données d’une page web
• Grâce à lafonction “Add column by fetching URL” + la fonctionparseHTML
Paramétrages pratiques
• Paramétrer le nombre de facettes autorisées
• http://127.0.0.1:3333/preferences
• Ajouter ui.browsing.listFacet.limit (ex 10000)
• Augmenter la mémoire allouer à OpenRefine (pour traiter des fichiers + gros)
• modifier le paramètre-XXmx2048M dansle fichier “google.refine.l4j.ini”](https://image.slidesharecdn.com/openrefine20160609-160609152252/85/OpenRefine-traitement-de-donnees-en-masse-12-320.jpg)
OpenRefine: traitement de données en masse
- 1. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr Les TIC et l’art OpenRefine traitement de données en masse Antoine Courtin / Pierre Mounier /Antonio Mendes da Silva – jeudi 9 juin 2016
- 2. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr LOD cloud diagram d’août 2014 L’outil OpenRefine est historiquement lié à l’existence de Freebase, l’un des tous premiers projets collaboratifs d’entrepôts de données sémantiques sur le web
- 3. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr Qu’est-ce qu’OpenRefine ? Historique : 2007 mars : Metaweb lance Freebase 2010 : Freebase est proposée avec l’outil de nettoyage et de traitement des données Gridworks (v1.0) 2010 juillet : Google rachète Metaweb 2010 nov : Gridworks devient Google Refine 2012 oct : Arrêt de Google Refine dont le code est libéré et qui devient OpenRefine [2012 : Le contenu de Freebase est transféré sur Wikidata 2014 déc : Google annonce la fermeture de Freebase 2015 : Fermeture progressive de Freebase et des services associés 2016 mai : Fermeture définitive de Freebase …………………..]
- 4. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr Un tutoriel pas à pas sur OpenRefine : http://enipedia.tudelft.nl/wiki/OpenRefine_Tutorial
- 5. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr 1. Installation d’OpenRefine : http://openrefine.org/download.html
- 6. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr 2. Récupérer un set de données à nettoyer pour l’atelier : http://enipedia.tudelft.nl/wiki/OpenRefine_Tutorial
- 7. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr Exercices…
- 8. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr Où les trouver ? Comment les installer ? • Sur le site officiel, à la page des téléchargments -> http://openrefine.org/download.html • sur Github, dans des répertoires spécifiques (recherche sur « plugin et/ou extension) -> http://bit.ly/1X9TEx4 -> http://bit.ly/1UEghq1 • Fermer l’application • Se rendre dans le répertoire où se trouve l’application • Dans le dossier /webapp/, créer le dossier « extensions » si celui-ci n’existe pas • Télécharger l’extension souhaitée au format .zip, le dézipper et placer ce répertoire dans le répertoire /webapp/extensions • Relancer l’application « Augmenter » le comportement d’OpenRefine
- 9. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr « Augmenter » le comportement d’OpenRefine Les plugins/extensions les + utiles • Exporter les données en RDF (à partir d’un squelette issue d’une ontologie par ex.) • https://github.com/fadmaa/grefine-rdf- extension/releases • (ATTENTION: renommer le dossier dezippé en « rdf-extension » avant de le copier dans le répertoire /webapp/extensions/) • Extraction d’entités nommées • https://github.com/RubenVerborgh/Refine-NER- Extension • VIB-BITS: 3 plugins (gestions des actions/historique; comparaison entre 2 textes; gestions des facettes) • https://www.bits.vib.be/index.php/software- overview/openrefine • Réaliser des statistiques • https://github.com/sparkica/refine-stats Des services à paramétrer • La reconciliation avec VIAF • http://refine.codefork.com/ • Aller dans « Add Standard Service » puis ajouter le code suivant: http://refine.codefork.com/reconcile/viaf
- 10. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr Une utilisation « augmentée » d’OpenRefine Quelques exemples/exercices • Utiliser l’API de Google pour géolocaliser des lieux • Ajouter à la colonne Lieu_naissance 1, le terme de Etats-Unis • Jouer avec les filtres pour avoir dans la zone centrale, les architectes nés à Bennington, Aurora et Allegheny. • Lancer la géolocalisation via « by fetching URL » • "http://maps.google.com/maps/api/geocode/json?sensor=false&address=" + escape(value, "url ») • Extraite les coordonnées géographiques dans une autre colonne • Procéder à une « reconciliation » avec VIAF sur les élèves nés à New York • Créer une colonne avec pour créer le nom complet • Filtrer sur les élèves nés à New York • Procéder à la réconciliation en utilisant le VIAF • Utiliser l’interface pour valider et choisir la réconciliation • Créer une colonne en extrayant l’id des résultats de la reconciliation avec VIAF
- 11. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr OpenRefine & les plugins • Utiliser l’API de Google pour géolocaliser des lieux • Ajouter à la colonne Lieu_naissance 1, le terme de Etats-Unis • cells['Lieu_naissance 1'].value + ", Etats-Unis" • Jouer avec les filtres pour avoir dans la zone centrale, les architectes nés à Bennington, Aurora et Allegheny. • Lancer la géolocalisation via « by fetching URL » • "http://maps.google.com/maps/api/geocode/json?sensor=false&address=" + escape(value, "url ») • Extraite les coordonnées géographiques dans une autre colonne • with(value.parseJson().results[0].geometry.location, pair, pair.lat +", " + pair.lng) • Procéder à une « reconciliation » avec VIAF sur les élèves nés à New York • Créer une colonne avec pour créer le nom complet • cells['Nom_usuel'].value + ", " + cells['Prenom_usuel'].value • Filtrer sur les élèves nés à New York • Procéder à la réconciliation en utilisant le VIAF • Utiliser l’interface pour valider et choisir la réconciliation • Créer une colonne en extrayant l’id des résultats de la reconciliation avec VIAF • cell.recon.match.id Quelques exemples/exercices -> réponses
- 12. Les TIC et l'art OpenRefine 9 juin 2016 Institut national d'histoire de l'art Accès: 6, rue des Petits-Champs 75002Paris Adresse postale: 2, rue Vivienne 75002Paris Métro : Bourse, Pyramides Palais royal/Musée du Louvre Tél. : +33 (0) 1 47 03 8984 Fax : +33 (0) 1 47 03 8636 lesticetlart@inha.fr http://invisu.inha.fr Certains des + d’OpenRefine • Pouvoir facilement relier 2 projets et ajouter des données de l’un à l’autre des projets • cell.cross("My Address Book", "friend")[0].cells["address"].value[0] • Pouvoir sauvegarder et rejouer un ensemble des tâches ultérieurement grâce à un fichier json • Aller dans l’onglet “Unod/Redo” puis dans Extract/Aplply • Extraire des données d’une page web • Grâce à lafonction “Add column by fetching URL” + la fonctionparseHTML Paramétrages pratiques • Paramétrer le nombre de facettes autorisées • http://127.0.0.1:3333/preferences • Ajouter ui.browsing.listFacet.limit (ex 10000) • Augmenter la mémoire allouer à OpenRefine (pour traiter des fichiers + gros) • modifier le paramètre-XXmx2048M dansle fichier “google.refine.l4j.ini”