Kaggle Dataset Search · Documentation Crawlbase

Utilisation de l'API

Ajoutez &scraper=kaggle-dataset-serp à une requête Crawling API. Encodez en URL l'URL cible dans le paramètre url.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.kaggle.com/datasets?search=heart+disease' \
  --data-urlencode 'scraper=kaggle-dataset-serp' -G
from crawlbase import CrawlingAPI

api = CrawlingAPI({'token': 'YOUR_TOKEN'})
res = api.get(
    'https://www.kaggle.com/datasets?search=heart+disease',
    {'scraper': 'kaggle-dataset-serp'}
)

import json
data = json.loads(res['body'])
const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const res = await api.get(
  'https://www.kaggle.com/datasets?search=heart+disease',
  { scraper: 'kaggle-dataset-serp' }
);
const data = JSON.parse(res.body);
require 'crawlbase'
api = Crawlbase::API.new(token: 'YOUR_TOKEN')

res = api.get('https://www.kaggle.com/datasets?search=heart+disease', scraper: 'kaggle-dataset-serp')
data = JSON.parse(res.body)

Exemple d'URL en entrée

N'importe quelle page de recherche ou de liste de jeux de données Kaggle fonctionne dans le paramètre url - la page située à /datasets, avec ou sans chaîne de requête. Par exemple :

https://www.kaggle.com/datasets?search=heart+disease
https://www.kaggle.com/datasets?search=nlp&fileType=csv
https://www.kaggle.com/datasets
https://www.kaggle.com/datasets?search=weather&page=2

Structure de la réponse

Corps de la réponse JSON. Les types de champs peuvent être null lorsque la page source omet la valeur.

url

string

URL de la page de recherche qui a été scrapée.

query

string | null

Terme de recherche réellement exécuté par Kaggle, lu depuis le champ de recherche affiché, avec repli sur l'URL de la requête.

totalCount

integer | null

Nombre total de jeux de données correspondant à la recherche sur l'ensemble des pages, ou null lorsque la page n'indique pas de total.

page

integer | null

Numéro de la page courante, ou null lorsqu'il ne peut pas être déterminé.

hasNextPage

boolean

Indique si une page de résultats supplémentaire est disponible.

resultCount

integer

Nombre de lignes renvoyées sur cette page.

results

array

Lignes de jeux de données dans l'ordre où elles apparaissent sur la page.

results[].position

integer

Rang de la ligne dans cette page, à partir de 1.

results[].title

string | null

Titre affiché du jeu de données.

results[].url

string | null

URL absolue de la page du jeu de données.

results[].slug

string | null

Identifiant du jeu de données sous la forme owner/dataset, lu depuis le chemin de l'URL.

results[].owner

object

Compte qui publie le jeu de données.

results[].owner.name

string | null

Nom affiché du propriétaire.

results[].owner.url

string | null

URL absolue du profil du propriétaire.

results[].thumbnail

string | null

URL de l'image de la carte du jeu de données. Kaggle la sert comme arrière-plan CSS plutôt que comme balise image, elle est donc lue depuis le style inline.

results[].lastUpdated

string | null

Horodatage absolu de la dernière mise à jour du jeu de données. La carte n'affiche qu'un âge relatif, la valeur est donc prise dans l'infobulle située derrière et conserve le format Kaggle plutôt qu'ISO 8601.

results[].usabilityRating

number | null

Score d'utilisabilité Kaggle du jeu de données, de 0 à 10.

results[].fileCount

integer | null

Nombre de fichiers dans le jeu de données.

results[].fileFormat

string | null

Libellé du format de fichier affiché sur la carte (par exemple CSV).

results[].size

string | null

Taille totale du jeu de données telle qu'affichée, unités comprises (par exemple 6 kB). Kaggle n'expose pas le nombre exact d'octets dans la vue liste.

results[].downloads

integer | null

Nombre de téléchargements. Kaggle abrège les chiffres supérieurs au millier sur les cartes (par exemple 362K) ; la valeur est réétendue en un entier exact, et vaut null lorsque la carte omet le chiffre.

results[].notebookCount

integer | null

Nombre de notebooks publics construits sur le jeu de données, réétendu depuis la même forme abrégée que downloads.

results[].votes

integer | null

Nombre de votes positifs pour le jeu de données.

results[].medal

string | null

Médaille Kaggle sur le jeu de données (par exemple bronze), ou null lorsque la ligne n'en porte aucune.

Exemple de réponse

{
  "url": "https://www.kaggle.com/datasets?search=heart+disease",
  "query": "heart disease",
  "totalCount": 1628,
  "page": 1,
  "hasNextPage": true,
  "resultCount": 20,
  "results": [
    {
      "position": 1,
      "title": "Heart Disease Dataset",
      "url": "https://www.kaggle.com/datasets/johnsmith88/heart-disease-dataset",
      "slug": "johnsmith88/heart-disease-dataset",
      "owner": {
        "name": "David Lapp",
        "url": "https://www.kaggle.com/johnsmith88"
      },
      "thumbnail": "https://storage.googleapis.com/kaggle-datasets-images/216167/469115/23af5a37ef4e938b2c9a1b97662c3efc/dataset-thumbnail.jpg?t=2019-06-04-03-29-56",
      "lastUpdated": "Thu Jun 06 2019 17:33:55 GMT+0200 (Central European Summer Time)",
      "usabilityRating": 8.8,
      "fileCount": 1,
      "fileFormat": "CSV",
      "size": "6 kB",
      "downloads": 362000,
      "notebookCount": 984,
      "votes": 1859,
      "medal": "gold"
    },
    {
      "position": 2,
      "title": "Heart Disease",
      "url": "https://www.kaggle.com/datasets/oktayrdeki/heart-disease",
      "slug": "oktayrdeki/heart-disease",
      "owner": {
        "name": "Oktay Ördekçi",
        "url": "https://www.kaggle.com/oktayrdeki"
      },
      "thumbnail": "https://storage.googleapis.com/kaggle-datasets-images/6393782/10326308/95bfd024a1dc7d059e7b6f3632ed37c9/dataset-thumbnail.png?t=2024-12-29-13-32-57",
      "lastUpdated": "Sun Dec 29 2024 14:26:49 GMT+0100 (Central European Standard Time)",
      "usabilityRating": 10,
      "fileCount": 1,
      "fileFormat": "CSV",
      "size": "582 kB",
      "downloads": 22700,
      "notebookCount": 48,
      "votes": 179,
      "medal": "bronze"
    }
  ]
}