Documentation développeur Crawlbase
Le web,
structuré pour les bâtisseurs.
Crawlez, scrapez et parsez n'importe quel site à grande échelle avec une seule API. Endpoints prêts pour la production, SDKs natifs et un serveur MCP qui se branche directement à Claude, Cursor et votre stack d'agents.
Choisissez la surface qui correspond à votre stack
Crawling polyvalent avec rendu headless complet, proxies résidentiels et contournement anti-bot intégré. Le couteau suisse.
Envoyez des millions d'URLs en haute concurrence, recevez les résultats en streaming sur votre webhook. Nous gérons les files d'attente, les nouvelles tentatives et le stockage.
Proxies résidentiels et datacenter avec rotation. Un seul endpoint qui choisit le bon nœud de sortie, relance les échecs, et fonctionne avec n'importe quel client HTTP.
Stockez, gérez et servez les données scrapées. Conservez le HTML crawlé et le JSON parsé - récupérez-les plus tard via URL ou RID, sans infrastructure à exploiter.
Que puis-je construire ?
Interrogez les pages produits d'Amazon, Walmart, Best Buy ou n'importe quel revendeur selon un planning. Capturez les prix, stocks et notes dans une base de données - et soyez alerté quand ils bougent.
Snapshots SERP quotidiens pour vos mots-clés cibles. Suivez la position de votre domaine en organique, surveillez la couverture People-Also-Ask, construisez un tableau de bord de présence sur les fonctionnalités SERP.
Accès web en temps réel pour Claude, Cursor et tout agent compatible MCP. Ou crawlez un corpus en masse et injectez du Markdown dans un index de récupération pour des réponses LLM ancrées.
Parcourez une liste de domaines d'entreprises, extrayez chaque adresse e-mail visible avec le scraper email-extractor, enrichissez avec les données entreprise / profil LinkedIn. Listes de leads prêtes pour l'upsert dans votre CRM.
Suivez les lancements de produits concurrents, l'engagement social et le sentiment des avis dans le temps. Comparez le JSON scrapé semaine après semaine pour repérer les changements de prix, de copy ou de fonctionnalités.
Votre premier crawl en 60 secondes
curl 'https://api.crawlbase.com/?token=YOUR_TOKEN&url=https%3A%2F%2Fgithub.com%2Fcrawlbase'from crawlbase import CrawlingAPI
api = CrawlingAPI({'token': 'YOUR_TOKEN'})
response = api.get('https://github.com/crawlbase')
if response['status_code'] == 200:
print(response['body'])const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });
api.get('https://github.com/crawlbase')
.then(res => console.log(res.statusCode, res.body))
.catch(err => console.error(err));require 'crawlbase'
api = Crawlbase::API.new(token: 'YOUR_TOKEN')
response = api.get('https://github.com/crawlbase')
puts response.status_code
puts response.body<?php
use Crawlbase\CrawlingAPI;
$api = new CrawlingAPI(['token' => 'YOUR_TOKEN']);
$response = $api->get('https://github.com/crawlbase');
echo $response->statusCode;
echo $response->body;package main
import (
"fmt"
"github.com/crawlbase/crawlbase-go"
)
func main() {
api := crawlbase.NewCrawlingAPI("YOUR_TOKEN")
res, _ := api.Get("https://github.com/crawlbase")
fmt.Println(res.StatusCode, res.Body)
}
