Accueil » Événements » GT Valorise ta data : Découvrez comment collecter automatiquement des données sur le web !
GT Valorise ta data : Découvrez comment collecter automatiquement des données sur le web !
Dates et horaires
Le 31 janvier 2023 de 14h00 à 16h00
Lieu
À propos de l’événement
Découvrez comment collecter automatiquement des données sur le web !
Date
Mardi 31 janvier 2023
De 14h00 à 16h00
Lieu de l’évènement
Cet événement se présentera sous forme de webinaire
Programme
Avec l’ouverture des données publiques, des services se sont multipliés pour faciliter l’accès à des sources de données directement sur le web. Dans ce webinaire, nous verrons que savoir utiliser ces services, par exemple en récupérant des données avec des API, devient une compétence importante pour tout utilisateurs de données.
Julien Guérard : La collecte de données sur le web : outils et objectifs
Alain Roan : Télécharger des fichiers pour exploiter des données directement dans Observable
Guillaume Ryckelynck : Alimenter des dataviz via des API : utilisation de Javascript
Clément Bouchère : Utiliser l’API de la SNCF avec R
Enora Lericolais : Débutant ou expert : 3 manières de collecter les données OpenStreetMap
A noter : les présentations ci-dessous sont diffusées à partir de la chaîne YouTube DataGrandEst. Si vous rencontrez des difficultés pour les visionner, nous vous invitons à utiliser les liens « Télécharger la vidéo ».
Comment s’assurer que le serveur requêté soit fiable ? data.gouv.fr s’est montré faillible ces derniers mois, contrairement à la plateforme propre au MTE
Lorsqu’une application utilise une API pour récupérer des données, elle dépend du service offert par celle-ci. Il y a donc un risque pour le fonctionnement de votre application lorsque les services offerts par l’API sont indisponibles ou que les modalités d’usage changent.
Comment apprendre le langage Javascript pour pouvoir récupérer les données ?
Il existe de nombreuses ressources pour se former à Javascript. Le mieux est de commencer par la documentation officielle et les tutoriels associés sur MDN
Observable : S’agit-il d’un outil payant ou gratuit ? Est-ce possible de restreindre l’accès à un notebook sur Observable ?
Observable propose plusieurs offres. L’offre gratuite permet de travailler avec des notebook visibles de tous.
L’offre payante permet de travailler en mode privé à partir de $12 /mois. Tarifs d’Observable
Observable : Où cet outil est-il héberger ? En France, En europe, aux Etats-Unis ? Où transite les données que nous manipulons ?
Tout est sur Amazon/AWS. Les données transitent de leur source au navigateur de l’utilisateur. Certains utilisateurs l’héberge eux mêmes, mais la solution n’est pas facile à mettre en œuvre.
Jupyter est-il une alternative libre à Observable qui est gratuit mais pas libre ?
Jupyter est un environnement de développement dédié à python. Toutefois, dans Jupyter, il est aussi possible d’utiliser des documents Quarto qui supportent Observable JS
Observable outil lowcode/nocode : Peut-il être destiné à des data-analyst ou bien des agents aguéris de service métiers ? Quelle est sa valeur ajoutée par rapport à un logiciel ? des analyses facilement disponibles pour des personnes à qui on voudrait les diffuser ?
Observable est un environnement de développement collaboratif disponible dans un navigateur web. Il permet de concevoir et diffuser des visualisations de données développées en Javascript. De nombreux data analyst utilisent Observable. Un concepteur peut créer des classeurs contenant des visualisations interactives et paramétrables et les partager avec d’autres agents. Des exemples sont proposés par le cartographe Nicolas Lambert.
Il a également développé une libraire de cartographie BertinJS
Peut-on intégrer un composant web type carte dynamique sur un site web géré via une solution « clé en main » dont on n’administre que le contenu ?
Pour intégrer un composant web il faut simplement pouvoir ajouter quelques lignes de codes dans la page HTML. Donc l’accès au contenu de la page au format HTML doit suffire. Il n’est généralement pas nécessaire d’avoir un accès direct au serveur. Cela fonctionne par exemple avec des CMS comme Drupal ou WordPress dans l’interface d’édition en ligne. Il peut exister des cas particuliers et des limitations liées à la configuration du serveur (proxy, sécurité, etc.) ou du CMS. Si nécessaire, n’hésitez pas à " target="_blank" rel="noopener">nous contacter pour que l’on puisse analyser ensemble le problème.
Quand on fait un appel à un composant web dans un bout de code JS, la librairie concernée est récupérée autant que besoin sur le web ou bien faut-il installer ces librairies sur notre serveur ?
Dans le projet présenté par Guillaume, la librairie est chargée directement en début de script en pointant vers une ressource disponible sur le web. Il n’est donc pas nécessaire d’installer la librairie sur son serveur.
Est-ce que le mieux n’est pas d’utiliser dans une application de valorisation des données des appels à des composants Web comme vous le citer et des développements à façon R ou Python de manière complémentaire ?
Tout dépend du projet et du problème à résoudre. C’est une question de méthode qui s’évalue lors de la construction de votre projet de développement et de la conception de votre chaîne de traitement.
Est-il possible de construire des pages dynamiques comme CoTer pour les héberger sur DataGrandEst ?
La page dynamique CoTer présentée par Guillaume est bien hébergée sur DataGrandEst. Toutefois, à ce jour, DataGrandEst ne propose pas de service d’hébergement de pages dynamiques en-dehors de ces projets propres.
Que signifient les termes marque grise, marque blanche évoqués dans la présentation de l’API SNCF ?
Les termes marques blanches et marques grises ne font pas référence à la présentation de l’API de la SNCF mais à l’API du SIM FLUO Grand Est qui permet la réutilisation de données de transports en communs à l’échelle de la région Grand Est.
Une marque grise repose sur le principe commercial de mise à disposition d’outils ou de produits en citant explicitement la marque et l’origine de l’information transmise.
Une marque blanche est un service ou un produit conçu par une entreprise, que d’autres entreprises reprennent à leur compte et commercialisent sous leur propre marque.
Format NEPTUNE : Quelles caractéristiques ? Facile à utiliser ?
Le format NEPTUNE est un format de donnnées d’offre théorique de transports collectifs. Concrètement, un fichier au format NEPTUNE est un fichier texte (.xml) qui peut être assez complexe. Ce format est généralement peu utilisé par les professionnels du monde du transport qui préfèrent souvent la simplicité du format GTFS. Le format NETEX est quand à lui le nouveau format de référence des données d’offre à l’échelle européenne.
Plus d’information sur le format NEPTUNE
Programmation R: Cursus universitaire, formations ?
Il existe des MOOC de formation à R, notamment sur France université numérique.
Il existe également des supports de formation sur MTES
Une liste de ressources sur R et français est aussi disponible sur Github
Enfin, nous avions également organisé un webinaire sur R et Python que vous pouvez voir sur notre chaîne Youtube :
Est-ce que OverPass Turbo peut récupérer les fonds de carte d’OpenStreet Map ?
Restez informé des dernières données, événements et outils disponibles sur la plateforme. Recevez chaque mois une sélection de ressources utiles et d’actualités autour des données publiques du Grand Est.
