What is Crawlbase Cloud Storage?

A scalable cloud store for your crawled and scraped data. Add store=true to a crawl and the rendered HTML, JSON and screenshots are kept for you, ready to retrieve by RID or search, with no database of your own to run.

How do I store a page?

Add store=true to your Crawling API call, or use Cloud Storage as the webhook target for a Crawler. The response returns a storage RID that identifies the stored page.

How do I get my data back?

Send a GET request to the storage endpoint with the RID, run a full-text search across your stored pages, or browse and download from the storage dashboard.

Does it store screenshots too?

Yes. Stored crawls can include the rendered HTML, structured JSON and full-page screenshots, all retrievable by the same RID.

Do I have to manage scaling or backups?

No. Crawlbase handles scaling, backups and cleanup of your storage space, so you can stop maintaining an S3 bucket or a database of your own.

Produit / Cloud Storage

Cloud Storage.
Chaque crawl conservé, aucun re-téléchargé.

Ajoutez store=true à n'importe quel crawl et Crawlbase conserve la page rendue, le JSON et les captures d'écran dans le cloud.
Récupérez par RID, lancez une recherche full-text, et oubliez la base de données, le bucket S3 et les sauvegardes.

Commencer gratuitement Lire la documentation

0.5 credits per page per monthUn seul flag : store=trueRecherche full-text

Écritures de stockage en direct1.24M req/minStreaming

200yelp.com/biz/blue-bottle-coffeeJP52ms

200github.com/crawlbaseBR182ms

404ebay.com/itm/204512389011GB180ms

200target.com/p/-/A-79404211US133ms

200producthunt.com/posts/notionUS117ms

200indeed.com/jobs?q=developerFR118ms

301producthunt.com/posts/notionDE163ms

404reddit.com/r/programmingBR115ms

200ebay.com/itm/204512389011BR53ms

200reddit.com/r/programmingAU146ms

200zillow.com/homes/for_sale/BR210ms

200yelp.com/biz/blue-bottle-coffeeAU106ms

200glassdoor.com/Reviews/index.htmSG96ms

200yelp.com/biz/blue-bottle-coffeeUS104ms

404ebay.com/itm/204512389011NL124ms

200tripadvisor.com/Restaurants-g60763NL84ms

200zillow.com/homes/for_sale/FR179ms

200ebay.com/itm/204512389011GB72ms

200reddit.com/r/programmingES85ms

200google.com/search?q=web+scrapingBR154ms

301stackoverflow.com/questions/11227809BR195ms

200stackoverflow.com/questions/11227809CA131ms

200walmart.com/ip/55048794BR57ms

200zillow.com/homes/for_sale/ES197ms

200walmart.com/ip/55048794GB48ms

200google.com/search?q=web+scrapingFR161ms

200yelp.com/biz/blue-bottle-coffeeJP52ms

200github.com/crawlbaseBR182ms

404ebay.com/itm/204512389011GB180ms

200target.com/p/-/A-79404211US133ms

200producthunt.com/posts/notionUS117ms

200indeed.com/jobs?q=developerFR118ms

301producthunt.com/posts/notionDE163ms

404reddit.com/r/programmingBR115ms

200ebay.com/itm/204512389011BR53ms

200reddit.com/r/programmingAU146ms

200zillow.com/homes/for_sale/BR210ms

200yelp.com/biz/blue-bottle-coffeeAU106ms

200glassdoor.com/Reviews/index.htmSG96ms

200yelp.com/biz/blue-bottle-coffeeUS104ms

404ebay.com/itm/204512389011NL124ms

200tripadvisor.com/Restaurants-g60763NL84ms

200zillow.com/homes/for_sale/FR179ms

200ebay.com/itm/204512389011GB72ms

200reddit.com/r/programmingES85ms

200google.com/search?q=web+scrapingBR154ms

301stackoverflow.com/questions/11227809BR195ms

200stackoverflow.com/questions/11227809CA131ms

200walmart.com/ip/55048794BR57ms

200zillow.com/homes/for_sale/ES197ms

200walmart.com/ip/55048794GB48ms

200google.com/search?q=web+scrapingFR161ms

01 Démo live

Stockez avec un flag. Récupérez par RID.

Cloud Storage, tapé en direct. Stockez un crawl avec un seul paramètre, puis récupérez-le plus tard par son RID. Survolez pour mettre en pause et lire.

prêt

les touches 1-2 basculent · cliquez pour mettre en pauselancez votre propre URL

Store your first crawl in minutes. Start free, no credit card.Commencer gratuitement

02 Fonctionnalités

Un stockage conçu pour les crawls.

Conservez, retrouvez et récupérez vos données crawlées sans monter votre propre stockage.

store

Stockez avec un seul flag

Ajoutez store=true à n'importe quel appel Crawling API, ou pointez un Crawler vers le cloud storage, et la page rendue est conservée automatiquement.

retrieve

Récupérez par RID

Chaque crawl stocké obtient un RID. Envoyez une requête GET avec celui-ci et la page revient directement, sans re-crawl requis.

Recherche full-text

Recherchez parmi tout ce que vous avez crawlé pour trouver les pages exactes dont vous avez besoin, sans parcourir votre propre base de données.

capture

Pages et captures d'écran

Conservez le HTML rendu, le JSON structuré et les captures d'écran pleine page ensemble, tous récupérables par le même RID.

scale

Mise à l'échelle gérée

Crawlbase gère la mise à l'échelle, les sauvegardes et le nettoyage de votre espace, pour que vous puissiez retirer le bucket S3 et la maintenance.

pipe

Cible du webhook Crawler

Utilisez le stockage comme cible de livraison pour le Crawler asynchrone Crawler, pour que les gros crawls arrivent prêts à être récupérés.

03 Comment ça marche

Un flag pour stocker, un appel pour récupérer.

Gardez votre crawl tel quel. Ajoutez un paramètre pour stocker, et un GET pour récupérer.

Ajoutez store=true

Crawlez n'importe quelle URL avec store=true, ou définissez le cloud storage comme cible du webhook de votre Crawler.

Nous stockons et indexons

La page rendue, le JSON et la capture d'écran sont stockés et indexés pour la recherche full-text, avec la mise à l'échelle gérée.

Enregistrez le RID

La réponse renvoie un RID de stockage qui identifie de manière unique la page que vous venez de conserver.

Récupérez ou recherchez

Envoyez un GET à l'endpoint de stockage avec le RID, recherchez parmi vos crawls, ou récupérez depuis la console.

04 Cas d'usage

Ce que les équipes conservent dans Cloud Storage.

USE / 01Pipelines

Un tampon pour votre stack

Faites atterrir les pages crawlées dans le stockage et récupérez-les dans votre entrepôt, index ou modèle selon votre propre calendrier.

USE / 02Historique

Snapshots dans le temps

Conservez chaque crawl pour pouvoir comparer une page à différentes dates sans la crawler à nouveau.

USE / 03Recherche

Retrouvez parmi vos crawls

Lancez une recherche full-text sur tout ce qui est stocké pour localiser les pages et champs exacts dont vous avez besoin.

USE / 04Coût

Retirez votre propre stockage

Abandonnez le bucket S3 et la base de données. Le stockage se met à l'échelle, se sauvegarde et se nettoie tout seul pour vous.

USE / 05IA

Corpus pour l'entraînement et le RAG

Construisez et re-récupérez de grands ensembles de pages propres pour l'entraînement et la retrieval directement depuis le stockage.

USE / 06Async

Livraison Crawler

Associez le stockage au Crawler pour que les crawls asynchrones à haut volume arrivent prêts à être récupérés.

05 Pricing

One rate card, shared with every product.

Storage bills from the same balance as your crawls: half a credit keeps a page stored for a month, with no database to run.

Pay as you go$3.00 down to $0.02 per 1,000 successful requests

Only successful requests are billed, and rates fall as volume grows. Optional subscriptions from $99 / mo. Start free with up to 5,000 requests, no credit card.

See pricing Start free

06 Pourquoi Crawlbase

Un stockage que vous n'avez pas à gérer.

Cloud Storage tourne sur le même réseau qui sert plus de 70,000 développeurs. Aucun S3 à provisionner, aucune base de données à sauvegarder, rien à nettoyer quand elle se remplit.

99%

Taux de succès moyen des requêtes

70K+

Clients sur le réseau

0.5

Credits per stored page per month

99.99%

Disponibilité du réseau

Ajoutez store=true une fois, et chaque crawl est conservé, indexé et prêt à être récupéré.

07 FAQ

Questions sur Cloud Storage.

Un stockage cloud évolutif pour vos données crawlées et scrapées. Ajoutez store=true à un crawl et le HTML rendu, le JSON et les captures d'écran sont conservés pour vous, prêts à être récupérés par RID ou recherchés, sans base de données à gérer de votre côté.

Ajoutez store=true à votre appel Crawling API, ou utilisez Cloud Storage comme cible de webhook pour un Crawler. La réponse renvoie un RID de stockage qui identifie la page stockée.

Envoyez une requête GET à l'endpoint de stockage avec le RID, lancez une recherche full-text parmi vos pages stockées, ou parcourez et téléchargez depuis la page Storage de la console.

Oui. Les crawls stockés peuvent inclure le HTML rendu, le JSON structuré et les captures d'écran pleine page, tous récupérables par le même RID.

Non. Crawlbase gère la mise à l'échelle, les sauvegardes et le nettoyage de votre espace de stockage, pour que vous puissiez arrêter de maintenir un bucket S3 ou une base de données de votre côté.

Storage draws on the same credit balance as your crawls: half a credit keeps a page stored for a month, and your free signup credits cover it to start. See the pricing page for how credits work.

Conservez chaque page que vous crawlez.
Oubliez la base de données.

Free to begin, no credit card. One balance across Cloud Storage and every product.