What is Crawlbase Cloud Storage?

A scalable cloud store for your crawled and scraped data. Add store=true to a crawl and the rendered HTML, JSON and screenshots are kept for you, ready to retrieve by RID or search, with no database of your own to run.

How do I store a page?

Add store=true to your Crawling API call, or use Cloud Storage as the webhook target for a Crawler. The response returns a storage RID that identifies the stored page.

How do I get my data back?

Send a GET request to the storage endpoint with the RID, run a full-text search across your stored pages, or browse and download from the storage dashboard.

Does it store screenshots too?

Yes. Stored crawls can include the rendered HTML, structured JSON and full-page screenshots, all retrievable by the same RID.

Do I have to manage scaling or backups?

No. Crawlbase handles scaling, backups and cleanup of your storage space, so you can stop maintaining an S3 bucket or a database of your own.

How much does it cost?

Storage draws on the same credit balance as your crawls: half a credit keeps a page stored for a month, and your free signup credits cover it to start. The same balance works across the Crawling API, the Crawler and every other product.

Produit / Cloud Storage

Cloud Storage.
Chaque crawl conservé, aucun re-téléchargé.

Ajoutez store=true à n'importe quel crawl et Crawlbase conserve la page rendue, le JSON et les captures d'écran dans le cloud.
Récupérez par RID, lancez une recherche full-text, et oubliez la base de données, le bucket S3 et les sauvegardes.

Commencer gratuitement Lire la documentation

0.5 credits par page et par moisUn seul flag : store=trueRecherche full-text

Écritures de stockage en direct1.24M req/minStreaming

200indeed.com/jobs?q=developerCA191ms

200walmart.com/ip/55048794JP202ms

200zillow.com/homes/for_sale/DE117ms

200indeed.com/jobs?q=developerFR158ms

200zillow.com/homes/for_sale/IN185ms

200glassdoor.com/Reviews/index.htmSG154ms

200target.com/p/-/A-79404211FR159ms

301stackoverflow.com/questions/11227809FR43ms

200ebay.com/itm/204512389011IN47ms

200target.com/p/-/A-79404211SG93ms

200amazon.com/dp/B08N5WRWNWNL46ms

200stackoverflow.com/questions/11227809CA166ms

200glassdoor.com/Reviews/index.htmIN118ms

200tripadvisor.com/Restaurants-g60763NL102ms

200google.com/search?q=web+scrapingIN202ms

200zillow.com/homes/for_sale/NL112ms

200ebay.com/itm/204512389011IN127ms

200indeed.com/jobs?q=developerNL214ms

200producthunt.com/posts/notionIN159ms

200linkedin.com/jobs/searchIN72ms

200walmart.com/ip/55048794CA199ms

200linkedin.com/jobs/searchIN86ms

200booking.com/searchresults.html?ss=ParisES172ms

404amazon.com/dp/B08N5WRWNWGB53ms

200glassdoor.com/Reviews/index.htmDE188ms

200walmart.com/ip/55048794US93ms

200indeed.com/jobs?q=developerCA191ms

200walmart.com/ip/55048794JP202ms

200zillow.com/homes/for_sale/DE117ms

200indeed.com/jobs?q=developerFR158ms

200zillow.com/homes/for_sale/IN185ms

200glassdoor.com/Reviews/index.htmSG154ms

200target.com/p/-/A-79404211FR159ms

301stackoverflow.com/questions/11227809FR43ms

200ebay.com/itm/204512389011IN47ms

200target.com/p/-/A-79404211SG93ms

200amazon.com/dp/B08N5WRWNWNL46ms

200stackoverflow.com/questions/11227809CA166ms

200glassdoor.com/Reviews/index.htmIN118ms

200tripadvisor.com/Restaurants-g60763NL102ms

200google.com/search?q=web+scrapingIN202ms

200zillow.com/homes/for_sale/NL112ms

200ebay.com/itm/204512389011IN127ms

200indeed.com/jobs?q=developerNL214ms

200producthunt.com/posts/notionIN159ms

200linkedin.com/jobs/searchIN72ms

200walmart.com/ip/55048794CA199ms

200linkedin.com/jobs/searchIN86ms

200booking.com/searchresults.html?ss=ParisES172ms

404amazon.com/dp/B08N5WRWNWGB53ms

200glassdoor.com/Reviews/index.htmDE188ms

200walmart.com/ip/55048794US93ms

01 Démo live

Stockez avec un flag. Récupérez par RID.

Cloud Storage, tapé en direct. Stockez un crawl avec un seul paramètre, puis récupérez-le plus tard par son RID. Survolez pour mettre en pause et lire.

prêt

les touches 1-2 basculent · cliquez pour mettre en pauselancez votre propre URL

Stockez votre premier crawl en quelques minutes. Commencez gratuitement, sans carte bancaire.Commencer gratuitement

02 Fonctionnalités

Un stockage conçu pour les crawls.

Conservez, retrouvez et récupérez vos données crawlées sans monter votre propre stockage.

store

Stockez avec un seul flag

Ajoutez store=true à n'importe quel appel Crawling API, ou pointez un Crawler vers le cloud storage, et la page rendue est conservée automatiquement.

retrieve

Récupérez par RID

Chaque crawl stocké obtient un RID. Envoyez une requête GET avec celui-ci et la page revient directement, sans re-crawl requis.

Recherche full-text

Recherchez parmi tout ce que vous avez crawlé pour trouver les pages exactes dont vous avez besoin, sans parcourir votre propre base de données.

capture

Pages et captures d'écran

Conservez le HTML rendu, le JSON structuré et les captures d'écran pleine page ensemble, tous récupérables par le même RID.

scale

Mise à l'échelle gérée

Crawlbase gère la mise à l'échelle, les sauvegardes et le nettoyage de votre espace, pour que vous puissiez retirer le bucket S3 et la maintenance.

pipe

Cible du webhook Crawler

Utilisez le stockage comme cible de livraison pour le Crawler asynchrone Crawler, pour que les gros crawls arrivent prêts à être récupérés.

03 Comment ça marche

Un flag pour stocker, un appel pour récupérer.

Gardez votre crawl tel quel. Ajoutez un paramètre pour stocker, et un GET pour récupérer.

Ajoutez store=true

Crawlez n'importe quelle URL avec store=true, ou définissez le cloud storage comme cible du webhook de votre Crawler.

Nous stockons et indexons

La page rendue, le JSON et la capture d'écran sont stockés et indexés pour la recherche full-text, avec la mise à l'échelle gérée.

Enregistrez le RID

La réponse renvoie un RID de stockage qui identifie de manière unique la page que vous venez de conserver.

Récupérez ou recherchez

Envoyez un GET à l'endpoint de stockage avec le RID, recherchez parmi vos crawls, ou récupérez depuis la console.

04 Cas d'usage

Ce que les équipes conservent dans Cloud Storage.

USE / 01Pipelines

Un tampon pour votre stack

Faites atterrir les pages crawlées dans le stockage et récupérez-les dans votre entrepôt, index ou modèle selon votre propre calendrier.

USE / 02Historique

Snapshots dans le temps

Conservez chaque crawl pour pouvoir comparer une page à différentes dates sans la crawler à nouveau.

USE / 03Recherche

Retrouvez parmi vos crawls

Lancez une recherche full-text sur tout ce qui est stocké pour localiser les pages et champs exacts dont vous avez besoin.

USE / 04Coût

Retirez votre propre stockage

Abandonnez le bucket S3 et la base de données. Le stockage se met à l'échelle, se sauvegarde et se nettoie tout seul pour vous.

USE / 05IA

Corpus pour l'entraînement et le RAG

Construisez et re-récupérez de grands ensembles de pages propres pour l'entraînement et la retrieval directement depuis le stockage.

USE / 06Async

Livraison Crawler

Associez le stockage au Crawler pour que les crawls asynchrones à haut volume arrivent prêts à être récupérés.

05 Tarifs

Une seule grille tarifaire, partagée par tous les produits.

Le stockage est facturé sur le même solde que vos crawls : un demi-credit conserve une page stockée pendant un mois, sans base de données à gérer.

Paiement à l'usageDe $3.00 à $0.02 pour 1,000 requests réussis

Seuls les requests réussis sont facturés, et les tarifs baissent quand le volume augmente. Abonnements optionnels à partir de $99 / mois. Commencez gratuitement avec jusqu'à 5,000 requests, sans carte bancaire.

Voir les tarifs Démarrer gratuitement

06 Pourquoi Crawlbase

Un stockage que vous n'avez pas à gérer.

Cloud Storage tourne sur le même réseau qui sert plus de 70,000 développeurs. Aucun S3 à provisionner, aucune base de données à sauvegarder, rien à nettoyer quand elle se remplit.

99%

Taux de succès moyen des requêtes

70K+

Clients sur le réseau

0.5

Credits par page stockée et par mois

99.99%

Disponibilité du réseau

Ajoutez store=true une fois, et chaque crawl est conservé, indexé et prêt à être récupéré.

07 FAQ

Questions sur Cloud Storage.

Un stockage cloud évolutif pour vos données crawlées et scrapées. Ajoutez store=true à un crawl et le HTML rendu, le JSON et les captures d'écran sont conservés pour vous, prêts à être récupérés par RID ou recherchés, sans base de données à gérer de votre côté.

Ajoutez store=true à votre appel Crawling API, ou utilisez Cloud Storage comme cible de webhook pour un Crawler. La réponse renvoie un RID de stockage qui identifie la page stockée.

Envoyez une requête GET à l'endpoint de stockage avec le RID, lancez une recherche full-text parmi vos pages stockées, ou parcourez et téléchargez depuis la page Storage de la console.

Oui. Les crawls stockés peuvent inclure le HTML rendu, le JSON structuré et les captures d'écran pleine page, tous récupérables par le même RID.

Non. Crawlbase gère la mise à l'échelle, les sauvegardes et le nettoyage de votre espace de stockage, pour que vous puissiez arrêter de maintenir un bucket S3 ou une base de données de votre côté.

Le stockage puise dans le même solde de credits que vos crawls : un demi-credit conserve une page stockée pendant un mois, et vos credits gratuits d'inscription couvrent le démarrage. Consultez la page tarifs pour comprendre le fonctionnement des credits.

Conservez chaque page que vous crawlez.
Oubliez la base de données.

Gratuit pour démarrer, sans carte bancaire. Un seul solde pour Cloud Storage et tous les produits.