Se connecter

Utilisation de l'API

Ajoutez &scraper=github-repository à une requête Crawling API. Encodez en URL l'URL cible dans le paramètre url.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://github.com/rails/rails' \
  --data-urlencode 'scraper=github-repository' -G
from crawlbase import CrawlingAPI

api = CrawlingAPI({'token': 'YOUR_TOKEN'})
res = api.get(
    'https://github.com/rails/rails',
    {'scraper': 'github-repository'}
)

import json
data = json.loads(res['body'])
const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const res = await api.get(
  'https://github.com/rails/rails',
  { scraper: 'github-repository' }
);
const data = JSON.parse(res.body);
require 'crawlbase'
api = Crawlbase::API.new(token: 'YOUR_TOKEN')

res = api.get('https://github.com/rails/rails', scraper: 'github-repository')
data = JSON.parse(res.body)

Exemple d'URL en entrée

L'URL passée dans le paramètre url (décodée pour plus de lisibilité) :

https://github.com/rails/rails

Structure de la réponse

Corps de la réponse JSON. Les types de champs peuvent être null lorsque la page source omet la valeur.

name
string | null
Nom du dépôt.
owner
string | null
Identifiant du propriétaire (utilisateur ou organisation).
fullName
string
Identifiant complet owner/name.
url
string
URL canonique du dépôt.
description
string | null
Description du dépôt (l'accroche sous l'en-tête).
primaryLanguage
string | null
Langage de programmation principal (première entrée de languages).
languages
array
Langages listés dans la barre de langages du dépôt.
stars
integer | null
Nombre d'étoiles.
forks
integer | null
Nombre de forks.
watchers
integer | null
Nombre de watchers.
hasIssues
boolean
True si l'onglet Issues est activé.
openIssuesCount
integer | null
Nombre d'issues ouvertes.
openPrsCount
integer | null
Nombre de pull requests ouvertes.
topics
array
Étiquettes de sujets du dépôt.
license
string | null
Nom de la licence affichée dans la barre latérale.
defaultBranch
string | null
Nom de la branche par défaut.
latestRelease
string | null
Tag de la dernière version, lorsque le dépôt a des versions.
readmePresent
boolean
True si un README rendu est présent.
archived
boolean
True si le dépôt est archivé (en lecture seule).

Exemple de réponse

{
  "name": "rails",
  "owner": "rails",
  "fullName": "rails/rails",
  "url": "https://github.com/rails/rails",
  "description": "Ruby on Rails",
  "primaryLanguage": "Ruby",
  "languages": ["Ruby", "JavaScript", "HTML", "SCSS", "CSS", "Dockerfile"],
  "stars": 58789,
  "forks": 22414,
  "watchers": 2400,
  "hasIssues": true,
  "openIssuesCount": 478,
  "openPrsCount": 1081,
  "topics": ["ruby", "rails", "html", "activerecord", "framework", "mvc", "activejob"],
  "license": "MIT license",
  "defaultBranch": "main",
  "latestRelease": "v8.1.3",
  "readmePresent": true,
  "archived": false
}