Which SDKs does Crawlbase offer?

Official SDKs for Node, Python, Ruby, PHP, Java, .NET and Go, plus a Scrapy middleware and a Zapier integration. All are free and call the Crawling API and every Crawlbase scraper through one client.

Yes. Every SDK and library is free, with no extra cost. You only pay for the Crawling API requests you make, and up to 20,000 are free.

What if my language is not listed?

You do not need an SDK. The Crawlbase API is a plain REST endpoint, so you can call it directly over HTTP from any language or tool.

What do the SDKs cover?

One client covers the Crawling API and the scrapers, with helpers for parameters such as autoparse, screenshots, geotargeting and storage, so you write less boilerplate.

How do I authenticate?

Initialize the client with one of your Crawlbase tokens. The same token works across the SDKs, the Crawling API, the Crawler and every scraper.

Every SDK is documented with copy-paste examples, and our support team is available if you hit an issue or want to contribute a library.

Produit / Bibliothèques et SDK

Bibliothèques et SDK.
Un seul token, tous les langages.

SDK officiels et gratuits pour Node, Python, Ruby, PHP, Java, .NET et Go, plus Scrapy et Zapier.
Installez en une ligne, ou appelez directement la REST API en HTTP depuis n'importe quoi.

Démarrer gratuitement Lire la documentation

7 langages, 2 intégrationsGratuit et opennpm · PyPI · RubyGems · Packagist

Appels SDK en direct1.24M req/minStreaming

200stackoverflow.com/questions/11227809CA55ms

200glassdoor.com/Reviews/googleJP101ms

200producthunt.com/posts/notionCA48ms

200glassdoor.com/Reviews/googleNL143ms

200google.com/search?q=4k+tvAU56ms

200linkedin.com/in/williamhgatesGB111ms

200glassdoor.com/Reviews/googleGB139ms

200walmart.com/ip/55088165DE185ms

200ebay.com/itm/195830173NL204ms

200etsy.com/listing/1029384JP84ms

200etsy.com/listing/1029384SG54ms

200amazon.com/dp/B08N5JZGGWUS197ms

200etsy.com/listing/1029384CA142ms

200stackoverflow.com/questions/11227809AU143ms

301yelp.com/biz/blue-bottle-sfJP110ms

200yelp.com/biz/blue-bottle-sfDE175ms

200zillow.com/homedetails/123DE82ms

301tripadvisor.com/Hotel_Review-g60763DE56ms

200zillow.com/homedetails/123IN46ms

200glassdoor.com/Reviews/googleUS154ms

200stackoverflow.com/questions/11227809NL172ms

404tripadvisor.com/Hotel_Review-g60763US70ms

200linkedin.com/in/williamhgatesES124ms

200linkedin.com/in/williamhgatesSG137ms

200ebay.com/itm/195830173DE74ms

200google.com/search?q=4k+tvFR186ms

200stackoverflow.com/questions/11227809CA55ms

200glassdoor.com/Reviews/googleJP101ms

200producthunt.com/posts/notionCA48ms

200glassdoor.com/Reviews/googleNL143ms

200google.com/search?q=4k+tvAU56ms

200linkedin.com/in/williamhgatesGB111ms

200glassdoor.com/Reviews/googleGB139ms

200walmart.com/ip/55088165DE185ms

200ebay.com/itm/195830173NL204ms

200etsy.com/listing/1029384JP84ms

200etsy.com/listing/1029384SG54ms

200amazon.com/dp/B08N5JZGGWUS197ms

200etsy.com/listing/1029384CA142ms

200stackoverflow.com/questions/11227809AU143ms

301yelp.com/biz/blue-bottle-sfJP110ms

200yelp.com/biz/blue-bottle-sfDE175ms

200zillow.com/homedetails/123DE82ms

301tripadvisor.com/Hotel_Review-g60763DE56ms

200zillow.com/homedetails/123IN46ms

200glassdoor.com/Reviews/googleUS154ms

200stackoverflow.com/questions/11227809NL172ms

404tripadvisor.com/Hotel_Review-g60763US70ms

200linkedin.com/in/williamhgatesES124ms

200linkedin.com/in/williamhgatesSG137ms

200ebay.com/itm/195830173DE74ms

200google.com/search?q=4k+tvFR186ms

01 Démo en direct

Le même appel. Choisissez votre langage.

Un seul client, tapé en direct. Installez, initialisez avec votre token et crawlez. Chaque langage renvoie un JSON identique. Survolez pour mettre en pause et lire.

prêt

touches 1-5 pour changer · cliquer pour mettre en pauseexécutez votre propre URL

Exécutez votre premier request en quelques minutes. Jusqu'à 20,000 requests gratuits, sans carte bancaire.Commencer gratuitement

02 Bibliothèques

Des SDK officiels, pour tous les langages majeurs.

Gratuits, open et légers en dépendances. Installez en une ligne, initialisez avec votre token et appelez la même API depuis n'importe où.

Node.jsnpm i crawlbase

Client prêt à l'emploi pour les projets Node et TypeScript.

npm →Pythonpip install crawlbase

Installez et appelez la classe Crawlbase depuis n'importe quelle app Python.

PyPI →Rubygem install crawlbase

Un gem sans dépendance pour le crawling et le scraping.

RubyGems →PHPcomposer require crawlbase/crawlbase

Un package PHP léger pour les API Crawlbase.

Packagist →Javacom.crawlbase:crawlbase-java-sdk-pom

SDK Java pour le crawling et le scraping avec Crawlbase.

Maven →.NETdotnet add package CrawlbaseAPI

Intégrez les API Crawlbase dans vos projets .NET via NuGet.

NuGet →Gogo get github.com/crawlbase/crawlbase-go

Un client Go épuré pour la Crawling API.

pkg.go.dev →Scrapypip install scrapy-crawlbase-middleware

Middleware Crawlbase pour vos spiders Scrapy.

PyPI →Zapier

Reliez Crawlbase à vos workflows no-code Zapier.

Zapier →N'importe quel langagecurl https://api.crawlbase.com

Pas besoin de SDK. Appelez directement la REST API en HTTP depuis n'importe quoi.

Voir la documentation →Il en manque un ?

Vous avez créé une bibliothèque ou souhaitez collaborer ? Nous serions ravis de travailler avec vous.

Contactez-nous →

03 Comment ça marche

De l'installation aux données en quatre lignes.

Facile à déployer, que vous débutiez ou que vous tourniez à grande échelle.

Choisissez votre langage

Node, Python, Ruby, PHP, Java, .NET ou Go. Ou passez le SDK de côté et utilisez du HTTP simple.

Installez le package

Une ligne depuis votre registre : npm, PyPI, RubyGems, Packagist, Maven, NuGet ou go get.

Initialisez avec votre token

Créez le client avec l'un de vos tokens Crawlbase. Le même token fonctionne partout.

Appelez l'API

Passez n'importe quelle URL, plus des paramètres comme autoparse ou screenshot, et lisez la réponse.

04 Notes

Bon à savoir.

Gratuit et open

Chaque SDK et bibliothèque est gratuit. Vous ne payez que pour les requests de la Crawling API que vous effectuez, et jusqu'à 20,000 sont gratuits.

N'importe quel langage en HTTP

Pas de SDK pour votre stack ? L'API est un simple endpoint REST, vous pouvez donc l'appeler directement depuis tout ce qui parle HTTP.

Entièrement documenté

Chaque SDK est couvert dans la documentation SDK, avec des exemples d'installation et d'utilisation à copier-coller.

Un seul token, tous les produits

Le même token et le même client couvrent la Crawling API, le Crawler et chaque scraper. Consultez les tarifs à l'usage sur la page tarifs.

05 Pourquoi Crawlbase

Un seul client, toute la plateforme.

Les SDK enveloppent le même réseau qui sert plus de 70,000 développeurs. Aucun proxy à acheter, aucun navigateur à faire tourner, rien à patcher quand un site change.

SDK de langage officiels

Gratuit

Chaque bibliothèque, jusqu'à 20,000 requests gratuits

70K+

Développeurs sur le réseau

Un token pour tous les produits

Installez en une ligne, initialisez avec votre token, et la Crawling API comme chaque scraper ne sont qu'à un appel de méthode.

06 FAQ

Questions sur les SDK.

Des SDK officiels pour Node, Python, Ruby, PHP, Java, .NET et Go, plus un middleware Scrapy et une intégration Zapier. Tous sont gratuits et appellent la Crawling API et chaque scraper via un seul client.

Oui. Chaque SDK et bibliothèque est gratuit. Vous ne payez que pour les requests de la Crawling API que vous effectuez, et jusqu'à 20,000 sont gratuits.

Vous n'avez pas besoin de SDK. L'API Crawlbase est un simple endpoint REST, vous pouvez donc l'appeler directement en HTTP depuis n'importe quel langage ou outil.

Un seul client couvre la Crawling API et les scrapers, avec des helpers pour des paramètres tels que autoparse, les screenshots, le geotargeting et le storage, pour que vous écriviez moins de boilerplate.

Initialisez le client avec l'un de vos tokens Crawlbase. Le même token fonctionne sur les SDK, la Crawling API, le Crawler et chaque scraper.

Chaque SDK est documenté avec des exemples à copier-coller, et notre équipe support est disponible si vous rencontrez un problème ou souhaitez contribuer une bibliothèque.

Installez le SDK.
Crawlez en quatre lignes.

Gratuit pour commencer, avec jusqu'à 20,000 requests de la Crawling API offerts. Un seul token, tous les langages.