Les données ouvertes constituent l'un des avantages discrets de l'analytique moderne. Les gouvernements, les institutions de recherche et les organisations à but non lucratif publient d'énormes jeux de données utilisables gratuitement, et la plupart des équipes ne les exploitent jamais. Bien utilisées, les données ouvertes alimentent l'analyse des tendances, mesurent l'impact des politiques publiques, affinent les décisions produit et ancrent un modèle dans des chiffres réels plutôt que dans des suppositions.
Ce guide recense des sources de données ouvertes solides et véritablement gratuites, regroupées par thème afin que vous puissiez accéder directement à ce dont votre projet a besoin : données économiques et financières, gouvernementales, de santé, scientifiques, académiques, environnementales, criminelles, annuaires d'entreprises, médias, réseaux sociaux, et quelques dépôts généralistes. Pour chacune, vous trouverez ce qu'elle fournit et comment les gens l'utilisent habituellement, ainsi qu'une courte note à la fin sur l'utilisation responsable des données ouvertes.
Qu'est-ce que les données ouvertes ?
Les données ouvertes sont des données auxquelles n'importe qui peut accéder, utiliser et partager sans les payer ni demander d'autorisation spéciale. En pratique, cela repose sur trois idées. N'importe qui peut y accéder, donc les fichiers sont publics et ne sont pas bloqués derrière une demande refusée ou un format obsolète. N'importe qui peut les utiliser, ce qui signifie que les particuliers, les entreprises et les gouvernements peuvent librement les exploiter, à l'exclusion des informations personnelles sensibles qui ne devraient jamais être publiques. N'importe qui peut les partager, donc les données peuvent être réutilisées et redistribuées.
Les organismes gouvernementaux et les organisations à but non lucratif en hébergent la majorité, car stocker et diffuser des données à grande échelle est coûteux et s'inscrit déjà dans leur mission. Une grande partie est assortie d'une licence telle que Creative Commons, qui vous permet d'utiliser les données librement tout en vous indiquant comment créditer la source. Cette licence est la partie que la plupart des gens ignorent, et c'est pourtant elle qui garantit la légitimité de votre usage : lisez-la avant de vous appuyer sur un jeu de données.
Données économiques et financières
Marchés, flux commerciaux et indicateurs macroéconomiques, utiles pour la recherche, les tableaux de bord et tout ce qui nécessite une base fiable de chiffres.
Global Financial Data
GFD propose des abonnements gratuits donnant accès à des données mondiales sur les marchés et l'économie, ainsi qu'à des périodiques, des livres et une vaste archive de séries historiques. C'est un bon point de départ quand vous avez besoin d'horizons temporels longs plutôt que de simples chiffres récents.
Base de données Comtrade de l'ONU
Géré par Comtrade Labs, cette base de données gratuite couvre le commerce mondial et y donne accès via une API, vous permettant de récupérer des chiffres par programmation plutôt que de télécharger des feuilles de calcul manuellement. Elle intègre également des outils de visualisation et d'extraction des données.
World Bank Open Data
L'une des meilleures sources uniques pour le PIB, la logistique, la consommation mondiale d'énergie, et la gestion et le décaissement des fonds mondiaux. Les données sont mises à jour fréquemment, et certains jeux sont accompagnés de leurs propres outils de visualisation.
Financial Times
Bien qu'il se présente comme un journal en ligne, le Financial Times est aussi une large source d'informations sur les marchés mondiaux des Amériques, d'Europe, d'Afrique et d'Asie, ce qui le rend utile pour le contexte qualitatif autour des données brutes.
Données gouvernementales et mondiales
Les offices statistiques nationaux et les organismes intergouvernementaux publient certaines des données ouvertes les plus riches qui soient, couvrant tout, de la criminalité à la démographie.
Data.gov.uk
L'équivalent britannique du data.gov américain, couvrant des catégories allant de la criminalité et la justice à la défense et aux dépenses publiques. Un premier arrêt pratique pour quiconque travaille avec des données publiques britanniques.
U.K. Data Service
Un complément à Data.gov.uk avec des jeux de données récents sur les tendances sociales, la politique, la finance et les relations internationales, davantage orienté vers la communauté académique.
Open Data Network
Un moteur de recherche pour les jeux de données ouvertes, avec des filtres avancés qui vous aident à trouver rapidement des données sur la sécurité publique, la finance, l'infrastructure, le logement et le développement, plutôt que de naviguer de site en site.
UNICEF
Des jeux de données ouvertes qui surveillent et rendent compte de la situation des enfants et des femmes dans le monde, notamment les épidémies, le genre et l'éducation, et les attitudes envers les normes sociales.
Data.gov
L'un des portails de données ouvertes les plus complets au monde, couvrant la science et la recherche jusqu'à la fabrication et le climat. Les données sont disponibles en CSV, JSON et XML, et les métadonnées sont mises à jour fréquemment afin que vous puissiez avoir confiance en l'actualité de ce que vous récupérez. Si vous prévoyez de les charger dans un tableur ou une base de données, nos notes sur JSON versus CSV vous aident à choisir le bon format.
U.S. Census Bureau
La source ouverte de référence pour les données démographiques sur les résidents américains, compilées à partir des gouvernements fédéral, étatique et local ainsi que des entreprises privées. Indispensable pour les travaux sur la population, le logement et la démographie économique.
Données de santé
Les agences de santé publique et les instituts de recherche publient des jeux de données de santé détaillés, précieux pour les chercheurs, les décideurs politiques et quiconque développe des outils dans le domaine de la santé.
HealthData.gov
Un dépôt de plus de 3 000 jeux de données couvrant plus de 125 ans, conçu pour donner aux entrepreneurs, aux chercheurs et aux décideurs politiques accès à des données de santé à haute valeur ajoutée.
Broad Institute
Une source claire et bien organisée de données de recherche ouvertes sur la santé et les sciences, avec une profondeur particulière sur différents types de cancers.
Food and Drug Administration (FDA)
La FDA publie des données sur les maladies d'origine alimentaire et les contaminants, les rappels et les actualités relatives aux compléments alimentaires aux États-Unis.
National Cancer Institute
Rattaché aux National Institutes of Health et complémentaire au Broad Institute, avec des filtres avancés permettant de cibler des jeux de données spécifiques liés au cancer.
Organisation mondiale de la santé
L'un des dépôts mondiaux les plus complets pour les taux de mortalité, les épidémies, les maladies mentales et le financement de la santé.
Center for Disease Control
Le CDC propose un large éventail de jeux de données gratuits sur les maladies chroniques, le cancer, les maladies cardiaques, les malformations congénitales et bien d'autres sujets.
NHS Digital
Un service gratuit et facile à utiliser fournissant des jeux de données de haute qualité sur l'état des systèmes de santé et de soins sociaux en Angleterre.
Données scientifiques
Données de recherche sur la Terre, l'espace et les disciplines transversales, souvent à très grande échelle.
NASA Earth Data
Données gratuites sur les sciences de la Terre provenant de la NASA, avec des mesures couvrant l'atmosphère, la cryosphère, les terres, l'océan et la radiance étalonnée du soleil.
Open Science Data Cloud
L'OSDC héberge plus d'un pétaoctet de grands jeux de données et permet aux chercheurs scientifiques de gérer, partager et analyser efficacement des données ouvertes dans de nombreuses disciplines.
NASA Planetary Data System
Des milliers de jeux de données ouvertes sur les planètes de notre système solaire, accessibles aux chercheurs, aux éducateurs, aux étudiants et au grand public.
Données académiques
Statistiques sur l'éducation, données d'enquêtes et travaux scientifiques, utiles pour les institutions, les chercheurs en sciences sociales et les revues de littérature.
National Center for Education Statistics
Le NCES publie des jeux de données que les établissements d'enseignement utilisent pour améliorer les taux de rétention et d'obtention de diplômes et pour comprendre comment les étudiants apprennent.
Pew Research Center
L'une des plus grandes sources de données ouvertes du pays, agrégeant des jeux de données d'enquêtes de haute qualité. Les données d'enquête sont généralement publiées deux ans après la parution du rapport, et vous créez un compte gratuit pour y accéder.
Google Scholar
La recherche de jeux de données ici fonctionne comme un moteur de recherche classique, vous donnant accès à un large éventail de sources éducatives et évaluées par des pairs.
Données environnementales
Jeux de données sur l'énergie, le climat et la santé environnementale pour la recherche et le reporting en matière de développement durable.
IEA Atlas of Energy
Des jeux de données ouverts de l'Agence internationale de l'énergie qui vous permettent de consulter les taux de consommation mondiale d'énergie et d'électricité.
Climate Data Online
Le CDO est une excellente source de données climatiques historiques et quasi en temps réel dans le monde entier, y compris des résumés quotidiens, des données marines et des radars météorologiques.
National Center for Environmental Health
Géré par le CDC, ce dépôt met en avant les systèmes de données nationaux qui collectent des données de santé publique et environnementales à l'échelle nationale.
Beaucoup de ces portails exposent des API, mais de nombreuses données publiques utiles se trouvent encore sur des pages web ordinaires qui utilisent JavaScript ou limitent le débit du trafic intense. Lorsque la source est un site plutôt qu'un téléchargement direct, la Crawling API de Crawlbase effectue la requête à votre place et renvoie le HTML, en gérant le rendu JavaScript, la rotation des IP et les CAPTCHA afin que la collecte ne s'arrête pas. Vous conservez votre propre code d'analyse et débutez avec jusqu'à 20 000 requêtes gratuites.
Données sur la criminalité et les drogues
Jeux de données sur la justice pénale et l'abus de substances, provenant principalement d'agences fédérales américaines et des Nations Unies.
National Archive of Criminal Justice Data
Le NACJD fournit des jeux de données publics et à accès restreint sur la récidive, la violence des gangs, le terrorisme, les crimes haineux et bien d'autres sujets.
National Institute on Drug Abuse
Le NIDA héberge des jeux de données importants pour quiconque étudie le tabac, l'alcool, les drogues illicites et l'abus d'opioïdes sur ordonnance aux États-Unis.
Uniform Crime Reporting Program
Le FBI agrège des statistiques provenant de plus de 18 000 villes, universités, comtés, États et tribus par le biais de ce programme.
Bureau of Justice Statistics
Au-delà des décès liés aux arrestations, le BJS collecte des données telles que les statistiques annuelles des urgences et les demandes liées aux armes à feu.
Office des Nations unies contre la drogue et le crime
L'UNODC publie régulièrement des jeux de données sur la production et le trafic de drogues, les taux d'homicide, la corruption et la criminalité organisée.
Données des annuaires d'entreprises
Registres d'entreprises et données d'avis, utiles pour l'étude de marché, l'analyse concurrentielle et la génération de leads.
Open Corporates
L'une des plus grandes bases de données ouvertes d'entreprises au monde, avec des centaines de millions de registres d'entreprises dans pratiquement tous les pays.
Glassdoor
Les sites d'avis d'emploi contiennent une quantité surprenante de données ouvertes. Sur Glassdoor, vous pouvez trouver des analyses sur les écarts de salaires entre hommes et femmes, des rapports mensuels sur les salaires et des rapports locaux sur les rémunérations.
Yelp
Les jeux de données ouverts de Yelp contiennent des millions d'avis d'entreprises que vous pouvez analyser pour faire émerger des tendances et des modèles dans le sentiment des consommateurs envers les entreprises.
Données médiatiques et journalistiques
Archives de presse et sources de data-journalisme, souvent accessibles via des API pour développeurs.
Associated Press Developer
Les services pour développeurs de l'AP vous permettent de créer des intégrations autour du contenu d'information, des données de sondage et des métadonnées, dans un esprit similaire au réseau pour développeurs du New York Times.
FiveThirtyEight
Une source de data-journalisme largement respectée couvrant des sujets aussi variés que la politique et le sport, avec des jeux de données venant appuyer ses analyses publiées.
The New York Times Developer Network
Enregistrez une application et vous pourrez accéder aux résumés, liens, contenus multimédias, livres, listings et articles du NYT, avec des textes remontant jusqu'en 1851.
Données marketing et réseaux sociaux
Données de sentiment en temps réel, intérêts de recherche et données de graphes sociaux pour les marketeurs et les analystes.
Social Mention
Un moteur de recherche pour les données sociales en temps réel, qui fait remonter le sentiment, l'utilisation des mots-clés, les utilisateurs et les hashtags à grande échelle.
Google Trends
Google Trends montre ce que le monde recherche, ce qui permet aux marketeurs de programmer leurs campagnes autour d'un intérêt croissant plutôt que de deviner.
Graph API
La Graph API est un ensemble d'API qui permettent aux applications de lire et d'écrire des données dans le graphe social Facebook. Traitez-la comme une fenêtre structurée sur les données Facebook publiques, et notez que son accès est régi par les propres conditions d'utilisation de Facebook.
Autres dépôts et agrégateurs
Des sources généralistes qui consolident beaucoup des jeux de données mentionnés ci-dessus, ainsi que quelques-uns plus inhabituels.
Google Public Data Explorer
Beaucoup des sources de cette liste y sont consolidées, ce qui en fait un excellent point de départ quand vous ne savez pas où chercher. Google Dataset Search le complète en tant que moyen gratuit de trouver des jeux de données sur le web.
Datasets SubReddit
Une communauté Reddit où les gens partagent des jeux de données intéressants, souvent scraped ou compilés dans des langages comme R, utile pour trouver des données hors des sentiers battus.
DBpedia
Pensez à Wikipedia comme à une base de données plutôt qu'à un site web. DBpedia vous permet d'explorer des millions d'entrées Wikipedia et les relations entre elles via une interface de requête unique, ce qui explique pourquoi il a soutenu des projets d'IA chez des entreprises comme Apple, Google et IBM.
Le big data est-il open source ?
Une part croissante des outils de big data est open source, notamment des systèmes de bases de données tels que MongoDB, un stockage NoSQL évolutif bien adapté aux charges de travail big data. Les composants open source couvrent également le reste du pipeline, de la collecte et de l'ingestion des données au traitement et au stockage, vous permettant d'assembler une pile complète sans licence propriétaire. Les outils open source et les données ouvertes se marient naturellement : les jeux de données gratuits vous fournissent les entrées, et les systèmes open source vous offrent un endroit où les stocker.
Utiliser les données ouvertes de manière responsable
Gratuit ne signifie pas inconditionnel. La plupart des jeux de données ouvertes sont assortis d'une licence, souvent Creative Commons, qui vous indique comment vous pouvez utiliser les données et comment créditer la source ; lisez-la et attribuez correctement. Lorsqu'une source expose une API, préférez-la au scraping du site et respectez ses limites de débit et ses conditions d'utilisation. Si un jeu de données touche des informations personnelles, traitez-les selon des réglementations comme le RGPD et le CCPA même lorsque les données sont techniquement publiques. Lorsque vous collectez à partir de pages web plutôt que de téléchargements, gardez votre taux de requêtes raisonnable et respectez le fichier robots.txt de chaque site. L'objectif est d'être un bon citoyen du patrimoine des données ouvertes dont vous bénéficiez. Une fois les données en main, nos guides sur la structuration et le nettoyage des données et leur analyse avec pandas vous aident à transformer des fichiers bruts en insights.
Points clés
- Les données ouvertes, c'est accès, usage et partage. Un jeu de données est considéré comme ouvert lorsque n'importe qui peut y accéder, s'en servir et le redistribuer librement, généralement sous une licence telle que Creative Commons.
- Commencez par la catégorie dont vous avez besoin. Les données économiques, gouvernementales, de santé, scientifiques, académiques, environnementales, criminelles, commerciales, médiatiques et sociales ont chacune des sources gratuites établies : choisissez d'abord le groupe, puis la source.
- Les portails gouvernementaux et intergouvernementaux en sont l'épine dorsale. Data.gov, le U.S. Census Bureau, la Banque mondiale, l'OMS et des organismes similaires publient certaines des données ouvertes les plus profondes et les mieux maintenues qui existent.
- Les agrégateurs font gagner du temps lors de la découverte. Google Public Data Explorer, Google Dataset Search et DBpedia consolident de nombreuses sources, ce qui constitue la voie la plus rapide quand vous ne savez pas où chercher.
- Respectez la licence et les règles. Lisez la licence, attribuez la source, préférez les API au scraping et appliquez les lois sur la confidentialité lorsque des données personnelles sont impliquées.
Foire aux questions
Quelle est la différence entre données ouvertes et données gratuites ?
Toutes les données ouvertes sont gratuites à obtenir, mais les données ouvertes vont plus loin : elles doivent également être libres d'être réutilisées et redistribuées, généralement sous une licence explicite. Certaines données sont gratuites à consulter mais restreintes dans leur usage ou leur partage, aussi vérifiez toujours la licence plutôt que de supposer que gratuit signifie ouvert.
Par quelle source de données ouvertes dois-je commencer ?
Commencez par votre sujet. Pour des données gouvernementales américaines générales, Data.gov est le point d'entrée naturel ; pour l'économie mondiale, la Banque mondiale ; pour la démographie, le U.S. Census Bureau ; pour la santé, l'OMS ou HealthData.gov. Si vous ne savez pas où chercher, Google Public Data Explorer et Google Dataset Search agrègent de nombreuses sources en un seul endroit.
Puis-je utiliser des données ouvertes dans un produit commercial ?
Souvent oui, mais cela dépend entièrement de la licence attachée au jeu de données spécifique. De nombreuses licences ouvertes, y compris la plupart des variantes Creative Commons, autorisent l'usage commercial à condition d'attribuer correctement la source. Lisez toujours les termes de la licence de chaque jeu de données avant de livrer quoi que ce soit construit dessus.
Dois-je scraper les données ouvertes ou puis-je les télécharger ?
La plupart des grands portails proposent des téléchargements directs en CSV, JSON ou XML, ou une API, et ce doivent toujours être votre premier choix. Le scraping n'entre en jeu que lorsque des données publiques utiles se trouvent sur des pages web sans téléchargement ni API. Dans ce cas, collectez-les poliment et dans le respect des conditions du site.
Le big data est-il la même chose que les données ouvertes ?
Non. Le big data décrit l'échelle et la complexité des jeux de données, tandis que les données ouvertes décrivent leurs licences et leur accessibilité. Un jeu de données peut être ouvert sans être volumineux, et les grands jeux de données sont souvent propriétaires. Ils se recoupent lorsqu'un grand jeu de données est aussi publié ouvertement, comme c'est le cas pour plusieurs sources de cette liste.
Comment garder mon utilisation des données ouvertes en conformité ?
Lisez et respectez la licence de chaque jeu de données, attribuez la source selon ses exigences, préférez les API officielles au scraping et respectez les limites de débit et le fichier robots.txt lorsque vous collectez à partir de pages. Si les données comprennent des informations personnelles, traitez-les conformément aux lois sur la confidentialité applicables telles que le RGPD et le CCPA, même si les données sont publiques.
Crawlez n'importe quel site à grande échelle, sans combattre l'infrastructure.
Crawlbase gère les proxies, les empreintes et les CAPTCHA afin que votre équipe livre des pipelines de données au lieu de maintenir la plomberie de crawl. 1 000 requêtes gratuites, sans carte requise.