What is Crawlbase Cloud Storage?

A scalable cloud store for your crawled and scraped data. Add store=true to a crawl and the rendered HTML, JSON and screenshots are kept for you, ready to retrieve by RID or search, with no database of your own to run.

How do I store a page?

Add store=true to your Crawling API call, or use Cloud Storage as the webhook target for a Crawler. The response returns a storage RID that identifies the stored page.

How do I get my data back?

Send a GET request to the storage endpoint with the RID, run a full-text search across your stored pages, or browse and download from the storage dashboard.

Does it store screenshots too?

Yes. Stored crawls can include the rendered HTML, structured JSON and full-page screenshots, all retrievable by the same RID.

Do I have to manage scaling or backups?

No. Crawlbase handles scaling, backups and cleanup of your storage space, so you can stop maintaining an S3 bucket or a database of your own.

How much does it cost?

It is free for developers, storing up to 10,000 documents for 14 days with no credit card. Beyond that it scales inexpensively with your crawl volume, and the same token works across the Crawling API, the Crawler and every scraper.

Produit / Cloud Storage

Cloud Storage.
Chaque crawl conservé, aucun re-téléchargé.

Ajoutez store=true à n'importe quel crawl et Crawlbase conserve la page rendue, le JSON et les captures d'écran dans le cloud.
Récupérez par RID, lancez une recherche full-text, et oubliez la base de données, le bucket S3 et les sauvegardes.

Commencer gratuitement Lire la documentation

10,000 documents gratuitsUn seul flag : store=trueRecherche full-text

Écritures de stockage en direct1.24M req/minStreaming

200producthunt.com/posts/notionAU197ms

200indeed.com/jobs?q=developerES104ms

200tripadvisor.com/Restaurants-g60763NL81ms

301linkedin.com/jobs/searchES208ms

200booking.com/searchresults.html?ss=ParisBR82ms

200glassdoor.com/Reviews/index.htmCA67ms

200yelp.com/biz/blue-bottle-coffeeFR141ms

200booking.com/searchresults.html?ss=ParisES65ms

200google.com/search?q=web+scrapingCA208ms

301tripadvisor.com/Restaurants-g60763SG58ms

200tripadvisor.com/Restaurants-g60763GB158ms

200target.com/p/-/A-79404211CA199ms

200reddit.com/r/programmingSG142ms

200zillow.com/homes/for_sale/NL182ms

200linkedin.com/jobs/searchIN56ms

200github.com/crawlbaseCA117ms

200yelp.com/biz/blue-bottle-coffeeES43ms

200tripadvisor.com/Restaurants-g60763IN109ms

200indeed.com/jobs?q=developerNL199ms

200indeed.com/jobs?q=developerSG74ms

200producthunt.com/posts/notionBR82ms

200glassdoor.com/Reviews/index.htmJP94ms

200walmart.com/ip/55048794FR179ms

301walmart.com/ip/55048794NL173ms

200glassdoor.com/Reviews/index.htmAU204ms

200zillow.com/homes/for_sale/ES77ms

200producthunt.com/posts/notionAU197ms

200indeed.com/jobs?q=developerES104ms

200tripadvisor.com/Restaurants-g60763NL81ms

301linkedin.com/jobs/searchES208ms

200booking.com/searchresults.html?ss=ParisBR82ms

200glassdoor.com/Reviews/index.htmCA67ms

200yelp.com/biz/blue-bottle-coffeeFR141ms

200booking.com/searchresults.html?ss=ParisES65ms

200google.com/search?q=web+scrapingCA208ms

301tripadvisor.com/Restaurants-g60763SG58ms

200tripadvisor.com/Restaurants-g60763GB158ms

200target.com/p/-/A-79404211CA199ms

200reddit.com/r/programmingSG142ms

200zillow.com/homes/for_sale/NL182ms

200linkedin.com/jobs/searchIN56ms

200github.com/crawlbaseCA117ms

200yelp.com/biz/blue-bottle-coffeeES43ms

200tripadvisor.com/Restaurants-g60763IN109ms

200indeed.com/jobs?q=developerNL199ms

200indeed.com/jobs?q=developerSG74ms

200producthunt.com/posts/notionBR82ms

200glassdoor.com/Reviews/index.htmJP94ms

200walmart.com/ip/55048794FR179ms

301walmart.com/ip/55048794NL173ms

200glassdoor.com/Reviews/index.htmAU204ms

200zillow.com/homes/for_sale/ES77ms

01 Démo live

Stockez avec un flag. Récupérez par RID.

Cloud Storage, tapé en direct. Stockez un crawl avec un seul paramètre, puis récupérez-le plus tard par son RID. Survolez pour mettre en pause et lire.

prêt

les touches 1-2 basculent · cliquez pour mettre en pauselancez votre propre URL

Stockez votre premier crawl en quelques minutes. 10,000 documents gratuits, sans carte bancaire.Commencer gratuitement

02 Fonctionnalités

Un stockage conçu pour les crawls.

Conservez, retrouvez et récupérez vos données crawlées sans monter votre propre stockage.

store

Stockez avec un seul flag

Ajoutez store=true à n'importe quel appel Crawling API, ou pointez un Crawler vers le cloud storage, et la page rendue est conservée automatiquement.

retrieve

Récupérez par RID

Chaque crawl stocké obtient un RID. Envoyez une requête GET avec celui-ci et la page revient directement, sans re-crawl requis.

Recherche full-text

Recherchez parmi tout ce que vous avez crawlé pour trouver les pages exactes dont vous avez besoin, sans parcourir votre propre base de données.

capture

Pages et captures d'écran

Conservez le HTML rendu, le JSON structuré et les captures d'écran pleine page ensemble, tous récupérables par le même RID.

scale

Mise à l'échelle gérée

Crawlbase gère la mise à l'échelle, les sauvegardes et le nettoyage de votre espace, pour que vous puissiez retirer le bucket S3 et la maintenance.

pipe

Cible du webhook Crawler

Utilisez le stockage comme cible de livraison pour le Crawler asynchrone Crawler, pour que les gros crawls arrivent prêts à être récupérés.

03 Comment ça marche

Un flag pour stocker, un appel pour récupérer.

Gardez votre crawl tel quel. Ajoutez un paramètre pour stocker, et un GET pour récupérer.

Ajoutez store=true

Crawlez n'importe quelle URL avec store=true, ou définissez le cloud storage comme cible du webhook de votre Crawler.

Nous stockons et indexons

La page rendue, le JSON et la capture d'écran sont stockés et indexés pour la recherche full-text, avec la mise à l'échelle gérée.

Enregistrez le RID

La réponse renvoie un RID de stockage qui identifie de manière unique la page que vous venez de conserver.

Récupérez ou recherchez

Envoyez un GET à l'endpoint de stockage avec le RID, recherchez parmi vos crawls, ou récupérez depuis le dashboard.

04 Cas d'usage

Ce que les équipes conservent dans Cloud Storage.

USE / 01Pipelines

Un tampon pour votre stack

Faites atterrir les pages crawlées dans le stockage et récupérez-les dans votre entrepôt, index ou modèle selon votre propre calendrier.

USE / 02Historique

Snapshots dans le temps

Conservez chaque crawl pour pouvoir comparer une page à différentes dates sans la crawler à nouveau.

USE / 03Recherche

Retrouvez parmi vos crawls

Lancez une recherche full-text sur tout ce qui est stocké pour localiser les pages et champs exacts dont vous avez besoin.

USE / 04Coût

Retirez votre propre stockage

Abandonnez le bucket S3 et la base de données. Le stockage se met à l'échelle, se sauvegarde et se nettoie tout seul pour vous.

USE / 05IA

Corpus pour l'entraînement et le RAG

Construisez et re-récupérez de grands ensembles de pages propres pour l'entraînement et la retrieval directement depuis le stockage.

USE / 06Async

Livraison Crawler

Associez le stockage au Crawler pour que les crawls asynchrones à haut volume arrivent prêts à être récupérés.

05 Tarification

Gratuit pour démarrer, économique à l'échelle.

Cloud Storage est gratuit pour les développeurs et peu coûteux pour les entreprises. Vous payez pour le volume de crawl, pas pour une base de données à gérer.

FreeCommencez à créer des workflows de données web et IA

$0/ mo

Démarrer gratuitement

10k requests
14 jours de rétention
Get API
Delete API
Bulk API

DeveloperUn stockage fiable pour les workflows d'IA et d'automatisation

$29/ mo

Choisir Developer

100k requests
30 jours de rétention
Get API
Delete API
Bulk API

Le plus populaire

BusinessConçu pour les opérations de données évolutives

$249/ mo

Choisir Business

1M requests
30 jours de rétention
Get API
Delete API
Bulk API

EnterpriseUne infrastructure sur mesure pour les systèmes de données à grande échelle

Nous contacter

Volume sur mesure
Rétention sur mesure
Get API
Delete API
Bulk API

06 Pourquoi Crawlbase

Un stockage que vous n'avez pas à gérer.

Cloud Storage tourne sur le même réseau qui sert plus de 70,000 développeurs. Aucun S3 à provisionner, aucune base de données à sauvegarder, rien à nettoyer quand elle se remplit.

99%

Taux de succès moyen des requêtes

70K+

Clients sur le réseau

10K

Documents gratuits pendant 14 days

99.99%

Disponibilité du réseau

Ajoutez store=true une fois, et chaque crawl est conservé, indexé et prêt à être récupéré.

07 FAQ

Questions sur Cloud Storage.

Un stockage cloud évolutif pour vos données crawlées et scrapées. Ajoutez store=true à un crawl et le HTML rendu, le JSON et les captures d'écran sont conservés pour vous, prêts à être récupérés par RID ou recherchés, sans base de données à gérer de votre côté.

Ajoutez store=true à votre appel Crawling API, ou utilisez Cloud Storage comme cible de webhook pour un Crawler. La réponse renvoie un RID de stockage qui identifie la page stockée.

Envoyez une requête GET à l'endpoint de stockage avec le RID, lancez une recherche full-text parmi vos pages stockées, ou parcourez et téléchargez depuis le dashboard de stockage.

Oui. Les crawls stockés peuvent inclure le HTML rendu, le JSON structuré et les captures d'écran pleine page, tous récupérables par le même RID.

Non. Crawlbase gère la mise à l'échelle, les sauvegardes et le nettoyage de votre espace de stockage, pour que vous puissiez arrêter de maintenir un bucket S3 ou une base de données de votre côté.

C'est gratuit pour les développeurs, avec le stockage de jusqu'à 10,000 documents pendant 14 days sans carte bancaire. Au-delà, cela s'adapte à moindre coût selon votre volume de crawl, et le même token fonctionne avec la Crawling API, le Crawler et tous les scrapers.

Conservez chaque page que vous crawlez.
Oubliez la base de données.

Gratuit pour commencer, stockez jusqu'à 10,000 documents pendant 14 days. Un seul token pour Cloud Storage et tous les produits.