crawlbaseDocs
Se connecter

Utilisation de l'API

Ajoutez &scraper=kaggle-dataset à une requête Crawling API. Encodez en URL l'URL cible dans le paramètre url.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.kaggle.com/datasets/uciml/iris' \
  --data-urlencode 'scraper=kaggle-dataset' -G
from crawlbase import CrawlingAPI

api = CrawlingAPI({'token': 'YOUR_TOKEN'})
res = api.get(
    'https://www.kaggle.com/datasets/uciml/iris',
    {'scraper': 'kaggle-dataset'}
)

import json
data = json.loads(res['body'])
const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const res = await api.get(
  'https://www.kaggle.com/datasets/uciml/iris',
  { scraper: 'kaggle-dataset' }
);
const data = JSON.parse(res.body);
require 'crawlbase'
api = Crawlbase::API.new(token: 'YOUR_TOKEN')

res = api.get('https://www.kaggle.com/datasets/uciml/iris', scraper: 'kaggle-dataset')
data = JSON.parse(res.body)

Exemple d'URL en entrée

N'importe quelle page de jeu de données Kaggle fonctionne dans le paramètre url - la page située à /datasets/<owner>/<dataset>. Par exemple :

https://www.kaggle.com/datasets/uciml/iris
https://www.kaggle.com/datasets/johnsmith88/heart-disease-dataset
https://www.kaggle.com/datasets/zynicide/wine-reviews

Structure de la réponse

Corps de la réponse JSON. Les types de champs peuvent être null lorsque la page source omet la valeur.

url
string
URL de la page du jeu de données qui a été scrapée.
id
string | null
Identifiant numérique Kaggle du jeu de données, renvoyé sous forme de chaîne.
title
string | null
Titre affiché du jeu de données.
subtitle
string | null
Résumé d'une ligne affiché sous le titre.
description
string | null
Description complète du jeu de données en Markdown, telle que le propriétaire l'a rédigée - les liens, les images et les listes sont préservés plutôt qu'aplatis.
version
integer | null
Numéro de version actuel du jeu de données.
keywords
array
Étiquettes de sujets appliquées au jeu de données, sous forme de tableau de chaînes.
owner
object
Compte qui publie le jeu de données.
owner.name
string | null
Nom affiché du propriétaire.
owner.url
string | null
URL absolue du profil du propriétaire ou de la page de l'organisation.
owner.image
string | null
URL de l'avatar du propriétaire.
license
object
Licence sous laquelle le jeu de données est publié.
license.name
string | null
Nom affiché de la licence (par exemple CC0: Public Domain).
license.url
string | null
URL canonique du texte de la licence.
files
array
Archives téléchargeables jointes au jeu de données.
files[].format
string | null
Format de l'archive (par exemple zip).
files[].sizeBytes
integer | null
Taille de l'archive en octets.
files[].downloadUrl
string | null
URL de téléchargement absolue, fixée à la version actuelle du jeu de données.
files[].requiresSubscription
boolean
Indique si Kaggle exige un compte connecté pour démarrer le téléchargement.
downloads
integer | null
Nombre total de téléchargements du jeu de données.
views
integer | null
Nombre total de vues de la page.
votes
integer | null
Nombre de votes positifs.
commentCount
integer | null
Nombre de commentaires dans la discussion du jeu de données.
lastUpdated
string | null
Horodatage ISO 8601 de la mise à jour la plus récente du jeu de données.
discussionUrl
string | null
URL absolue de l'onglet de discussion du jeu de données.
thumbnail
string | null
URL de l'image de la carte du jeu de données.
isAccessibleForFree
boolean
Indique si Kaggle marque le jeu de données comme librement accessible.

Exemple de réponse

{
  "url": "https://www.kaggle.com/datasets/uciml/iris",
  "id": "19",
  "title": "Iris Species",
  "subtitle": "Classify iris plants into three species in this classic dataset",
  "description": "The Iris dataset was used in R.A. Fisher's classic 1936 paper, [The Use of Multiple Measurements in Taxonomic Problems](http://rcs.chemometrics.ru/Tutorials/classification/Fisher.pdf), and can also be found on the [UCI Machine Learning Repository][1].\n\nIt includes three iris species with 50 samples each as well as some properties about each flower.",
  "version": 2,
  "keywords": [
    "subject",
    "earth and nature",
    "biology"
  ],
  "owner": {
    "name": "UCI Machine Learning",
    "url": "https://www.kaggle.com/organizations/uciml",
    "image": "https://storage.googleapis.com/kaggle-organizations/7/thumbnail.png"
  },
  "license": {
    "name": "CC0: Public Domain",
    "url": "https://creativecommons.org/publicdomain/zero/1.0/"
  },
  "files": [
    {
      "format": "zip",
      "sizeBytes": 3687,
      "downloadUrl": "https://www.kaggle.com/datasets/uciml/iris/download?datasetVersionNumber=2",
      "requiresSubscription": true
    }
  ],
  "downloads": 907784,
  "views": 3131083,
  "votes": 4861,
  "commentCount": 33,
  "lastUpdated": "2016-09-27T07:38:05.44Z",
  "discussionUrl": "https://www.kaggle.com/uciml/iris/discussion",
  "thumbnail": "https://storage.googleapis.com/kaggle-datasets-images/19/19/default-backgrounds/dataset-card.jpg",
  "isAccessibleForFree": true
}