What is the Crawlbase Crawling API?

A single REST API that crawls any URL through residential proxies in a real browser, clears bot checks and CAPTCHAs, and returns the fully rendered HTML. Add a scraper or autoparse for structured JSON, or screenshot=true for an image.

Does it render JavaScript?

Yes. A real browser executes the page, so dynamically loaded content, infinite scroll and single-page apps are captured, not just the initial HTML. Add ajax_wait or page_wait for slow pages.

Can I get structured JSON instead of HTML?

Yes. Add scraper=generic-extractor for universal JSON, autoparse=true for popular sites like Amazon and Google, or a named scraper for a specific site. Otherwise you get the full rendered HTML to parse yourself.

How do I avoid getting blocked?

Crawlbase routes each request through rotating residential IPs across 30 geographies and clears bot checks automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when a site changes its setup.

Can I take screenshots?

Yes. Add screenshot=true and the API captures a full-page screenshot of the rendered page as an image, stored for you for up to an hour.

Which languages and frameworks are supported?

Any. The Crawling API is a plain REST endpoint, with official SDKs for Node, Python, Ruby, PHP, Java, .NET and Go, so it drops into your existing stack.

Produit / Crawling API

Crawling API.
Toute URL, entièrement rendue.

Envoyez n'importe quelle URL et récupérez le HTML entièrement rendu, via 140M d'IP résidentielles avec gestion anti-bot intégrée.
Ajoutez un scraper ou autoparse pour du JSON structuré, ou une capture d'écran.

Commencer gratuitement Lire la documentation

99% de taux de réussite140M d'IP résidentielles30 zones géographiques

Flux de crawl en direct1.24M req/minStreaming

200zillow.com/homes/for_sale/SG94ms

200walmart.com/ip/55048794GB159ms

200zillow.com/homes/for_sale/IN163ms

200producthunt.com/posts/notionSG106ms

301glassdoor.com/Reviews/index.htmCA62ms

200target.com/p/-/A-79404211BR52ms

200walmart.com/ip/55048794ES176ms

301glassdoor.com/Reviews/index.htmES210ms

200amazon.com/dp/B08N5WRWNWDE110ms

200stackoverflow.com/questions/11227809JP45ms

200zillow.com/homes/for_sale/BR105ms

200walmart.com/ip/55048794AU89ms

200google.com/search?q=web+scrapingGB121ms

200github.com/crawlbaseNL199ms

200target.com/p/-/A-79404211GB128ms

200walmart.com/ip/55048794FR45ms

200github.com/crawlbaseIN115ms

200reddit.com/r/programmingCA97ms

200ebay.com/itm/204512389011CA44ms

200producthunt.com/posts/notionGB82ms

200producthunt.com/posts/notionJP180ms

301producthunt.com/posts/notionUS154ms

200glassdoor.com/Reviews/index.htmFR46ms

200google.com/search?q=web+scrapingCA163ms

200google.com/search?q=web+scrapingES116ms

200yelp.com/biz/blue-bottle-coffeeNL207ms

200zillow.com/homes/for_sale/SG94ms

200walmart.com/ip/55048794GB159ms

200zillow.com/homes/for_sale/IN163ms

200producthunt.com/posts/notionSG106ms

301glassdoor.com/Reviews/index.htmCA62ms

200target.com/p/-/A-79404211BR52ms

200walmart.com/ip/55048794ES176ms

301glassdoor.com/Reviews/index.htmES210ms

200amazon.com/dp/B08N5WRWNWDE110ms

200stackoverflow.com/questions/11227809JP45ms

200zillow.com/homes/for_sale/BR105ms

200walmart.com/ip/55048794AU89ms

200google.com/search?q=web+scrapingGB121ms

200github.com/crawlbaseNL199ms

200target.com/p/-/A-79404211GB128ms

200walmart.com/ip/55048794FR45ms

200github.com/crawlbaseIN115ms

200reddit.com/r/programmingCA97ms

200ebay.com/itm/204512389011CA44ms

200producthunt.com/posts/notionGB82ms

200producthunt.com/posts/notionJP180ms

301producthunt.com/posts/notionUS154ms

200glassdoor.com/Reviews/index.htmFR46ms

200google.com/search?q=web+scrapingCA163ms

200google.com/search?q=web+scrapingES116ms

200yelp.com/biz/blue-bottle-coffeeNL207ms

01 Démo en direct

Une URL en entrée. Du HTML ou du JSON en sortie.

La Crawling API, tapée en direct. Crawlez une page pour obtenir du HTML rendu, ou scrapez-la pour du JSON structuré. Survolez pour mettre en pause et lire.

prêt

touches 1-2 pour changer · cliquez pour mettre en pauselancez votre propre URL

Lancez votre premier request en quelques minutes. Jusqu'à 20,000 requests gratuites, sans carte bancaire.Commencer gratuitement

02 Capacités

Un seul endpoint, toute la pile en dessous.

Chaque partie difficile du crawl à grande échelle, prise en charge pour vous : un vrai navigateur, un réseau résidentiel et des défenses anti-bot franchies à chaque request.

render

Rendering JavaScript complet

Un vrai navigateur exécute la page, de sorte que le contenu chargé dynamiquement, le défilement infini et les single-page apps sont capturés, pas seulement le HTML initial.

proxies

140M d'IP résidentielles

Chaque request effectue une rotation d'IP résidentielle sur 30 zones géographiques, pour que vous atteigniez n'importe quel site comme un vrai visiteur local.

anti-bot

Blocages et CAPTCHA gérés

Les murs anti-bot, les CAPTCHA et les limites de débit sont franchis automatiquement. Rien à résoudre, rien à maintenir lorsqu'un site change.

extract

Autoparse et scrapers

Obtenez le HTML entièrement rendu, ou ajoutez autoparse=true ou scraper=… pour renvoyer le titre, le contenu, les prix, les images et les liens en JSON.

capture

Captures d'écran

Ajoutez screenshot=true pour capturer une image pleine page de la page rendue, stockée et prête à télécharger.

scale

Asynchrone et cloud storage

Exécutez de façon asynchrone avec des webhooks et le crawler, et conservez chaque page crawlée dans le cloud storage. Voir la démo en direct.

03 Paramètres

Chaque request, entièrement paramétré.

Un seul endpoint, contrôlé par des paramètres de requête. Geotargeting, rendering, parsing, capture d'écran, stockage et session, le tout depuis le même appel.

token=PRIVATE_TOKEN

Requis. Votre token d'accès à l'API.

url=https://crawlbase.com/ip

Requis. Une URL à crawler.

country=US

Pays de localisation du proxy, +48 pays.

scraper=scraper-name

Crawler puis extraire avec un scraper.

screenshot=true

Capturer des screenshots du navigateur sous forme d'images.

format=html

Format de réponse : html, json ou md (Markdown).

store=true

Stocker vos données crawlées ou scrapées dans le cloud.

device=mobile

Crawler sur mobile ou sur desktop.

autoparse=true

La Crawling API peut autoparser n'importe quelle page web.

tor_network=true

Crawler des sites onion via le réseau Tor.

Voir tous les paramètres →

04 Comment ça marche

De l'URL à la donnée en un seul appel.

Chaque request suit le même chemin. Vous envoyez une URL, nous gérons tout le reste.

Vous envoyez l'URL

Transmettez n'importe quelle URL avec votre token, ainsi que les paramètres dont vous avez besoin : pays, temps d'attente du rendering, parsing, captures d'écran ou stockage.

Nous effectuons la rotation d'un proxy

Une IP résidentielle et une zone géographique qui atteignent le site proprement, puisées parmi 140M d'IP réparties sur 30 régions.

Nous rendons la page

Un vrai navigateur charge la page pour que le JavaScript, le contenu dynamique et le défilement infini soient rendus avant la capture.

Nous franchissons les anti-bots

Les vérifications anti-bot, les CAPTCHA et les limites de débit sont gérés automatiquement. Rien à résoudre, rien à maintenir.

Nous renvoyons du HTML ou du JSON

Le HTML entièrement rendu revient, du JSON typé lorsque vous ajoutez un scraper ou autoparse, du Markdown propre lorsque vous le demandez, ou une image lorsque vous demandez une capture d'écran.

05 Cas d'usage

Ce que les équipes construisent sur la Crawling API.

USE / 01Commerce

Suivi des prix et des catalogues

Suivez les prix, les stocks et les annonces chez les distributeurs et sur les marketplaces, parsés en JSON à chaque crawl.

USE / 02Recherche

Suivi SERP et SEO

Crawlez les résultats de recherche et les pages concurrentes pour surveiller les classements, les snippets et le contenu à grande échelle.

USE / 03IA

Données d'entraînement et RAG

Alimentez des modèles, des pipelines RAG et des agents en pages rendues propres et en JSON structuré via une seule API.

USE / 04Croissance

Découverte de leads et de contacts

Crawlez annuaires, profils et annonces pour construire et enrichir vos pipelines.

USE / 05Recherche

Intelligence marché et contenu

Agrégez actualités, avis et données publiques pour orienter le produit, les prix et la stratégie.

USE / 06Couverture

N'importe quel site, une seule API

Crawlez n'importe quelle URL publique avec le même token, d'une seule page à des millions avec le crawler asynchrone.

06 Pricing

One rate card, shared with every product.

Crawling API requests spend credits on the platform ladder: rates fall as monthly volume grows, and only successful requests are billed.

Pay as you go$3.00 down to $0.02 per 1,000 successful requests

Only successful requests are billed, and rates fall as volume grows. Optional subscriptions from $99 / mo. Start free with up to 20,000 requests, no credit card.

See pricing Start free

07 Notes

Bon à savoir.

Testez gratuitement

Jusqu'à 20,000 requests sont gratuites, sans carte bancaire. Le même token fonctionne sur la Crawling API et sur tous les scrapers.

Tarification simple, basée sur l'usage

Payez ce que vous crawlez, sans contrat à long terme, résiliable à tout moment. Consultez le détail complet sur la page des tarifs.

Entièrement documenté

Chaque paramètre et chaque réponse est couvert dans la documentation de la Crawling API, avec des exemples prêts à copier-coller pour chaque SDK.

Conforme au RGPD et au CCPA

Crawlbase applique des standards de protection des consommateurs à l'échelle mondiale, avec équité et transparence intégrées à la manière dont les données sont traitées.

08 Pourquoi Crawlbase

Conçu pour crawler le web à grande échelle.

La Crawling API repose sur le même réseau qui sert plus de 46,000 clients payants et 70,000 développeurs. Aucun proxy à acheter, aucun navigateur à faire tourner, rien à corriger lorsqu'un site change.

99%

Taux de réussite moyen des requests

46K+

Clients payants sur le réseau

Zones géographiques pour des résultats locaux précis

99.99%

Disponibilité du réseau

Un token, des SDK officiels pour Node, Python, Ruby, PHP, Java, .NET et Go, et un réseau résidentiel en dessous.

09 FAQ

Questions sur la Crawling API.

Une seule API REST qui crawle n'importe quelle URL via des proxies résidentiels dans un vrai navigateur, franchit les vérifications anti-bot et les CAPTCHA, et renvoie le HTML entièrement rendu. Ajoutez un scraper ou autoparse pour du JSON structuré, ou screenshot=true pour une image.

Oui. Un vrai navigateur exécute la page, de sorte que le contenu chargé dynamiquement, le défilement infini et les single-page apps sont capturés, pas seulement le HTML initial. Ajoutez ajax_wait ou page_wait pour les pages lentes.

Oui. Ajoutez scraper=generic-extractor pour du JSON universel, autoparse=true pour les sites populaires comme Amazon et Google, ou un scraper nommé pour un site spécifique. Sinon, vous obtenez le HTML entièrement rendu à parser vous-même.

Crawlbase route chaque request via des IP résidentielles en rotation sur 30 zones géographiques et franchit les vérifications anti-bot automatiquement. Vous ne gérez pas de proxies et ne résolvez pas de CAPTCHA, et il n'y a rien à maintenir lorsqu'un site modifie sa configuration.

Oui. Ajoutez screenshot=true et l'API capture une capture d'écran pleine page de la page rendue sous forme d'image, stockée pour vous pendant jusqu'à une heure.

Tous. La Crawling API est un simple endpoint REST, avec des SDK officiels pour Node, Python, Ruby, PHP, Java, .NET et Go, si bien qu'elle s'intègre à votre stack existante.

Start free with up to 20,000 requests and no credit card. After that you pay per successful request on one graduated rate card shared by every Crawlbase product, with optional subscriptions from $99 a month. See the pricing page for the full rate card.

Commencez à crawler le web.
Oubliez les proxies et les blocages.

Gratuit pour démarrer avec jusqu'à 20,000 requests. Un seul token pour la Crawling API et tous les scrapers.