Des réponses claires sur le crawling, le scraping, les proxys et le stockage. Recherchez dans la base de connaissances ou parcourez par produit ci-dessous.
Easy to use API to crawl and scrape websites,
Voir la FAQ Crawling API
Move your crawling queues to the cloud.
Voir la FAQ Enterprise Crawler
For use in apps that require a proxy.
Voir la FAQ Smart AI Proxy
Store your crawled or scraped data on the cloud.
Voir la FAQ Cloud Storage
Manage your account and other generic questions.
Voir la FAQ GeneralPour le moment, la seule façon d'utiliser Crawlbase est de l'intégrer à votre produit ou service. Vous devrez donc connaître le développement ou connaître/rémunérer quelqu'un qui pourra vous aider.
Veuillez noter que nous proposons des bibliothèques très faciles à intégrer.
Vous pouvez obtenir les clés API ou les tokens de requête depuis la page Documentation du compte Crawlbase.
La limite de 30 URLs par seconde s'applique aux crawls LinkedIn. Pour les autres sites web, nous pouvons évaluer et éventuellement augmenter la limite au cas par cas. Veuillez nous contacter pour discuter de vos besoins spécifiques.
Oui, vous pouvez modifier l'adresse e-mail de votre compte. Pour ce faire, rendez-vous sur la page Compte et recherchez l'option "Change email address". Après avoir mis à jour votre adresse e-mail, vous recevrez un e-mail de confirmation à la nouvelle adresse. Veuillez confirmer le changement en suivant les instructions contenues dans l'e-mail.
Oui, le Smart AI Proxy peut être utilisé pour les sites web HTTPS, mais la connexion au proxy doit se faire en http. Ainsi, lors de la connexion au proxy, utilisez http://smartproxy.crawlbase.com et non https://smartproxy.crawlbase.com.
Tout le trafic HTTPS que vous envoyez à un site web en utilisant le Smart AI Proxy continuera d'être transféré en toute sécurité et nous ne pourrons y accéder d'aucune façon.
Nous voulons offrir plus qu'une simple liste ou des listes de proxys. C'est pourquoi nos produits API et Crawler reposent sur des milliers de proxys résidentiels et de datacenter du monde entier, combinés à l'intelligence artificielle et à notre équipe d'ingénieurs, ce qui aide à fournir les meilleurs résultats de données possibles. Si vous recherchez uniquement des proxys et que vous ne souhaitez bénéficier d'aucun des autres avantages, nous vous recommandons d'utiliser le Smart Proxy
Nous faisons de notre mieux pour prendre en charge chaque site web. Veuillez nous contacter pour voir comment nous pouvons vous aider.
"Waiting" signifie que vos requêtes se trouvent dans la file d'attente de votre crawler en attente de traitement. Les "Concurrent crawlers" sont les requêtes qui sont crawlées en même temps. Le nombre de crawlers concurrents est augmenté par notre système si vous avez beaucoup de pages à crawler, nous surveillons également les crawlers et augmentons ou diminuons la concurrence en fonction du pool. Les "Sets to be retried" sont vos requêtes qui ont échoué pour une raison quelconque, elles atterrissent dans la file d'attente de nouvelle tentative de votre crawler et sont traitées avec un taux de nouvelle tentative jusqu'à un maximum de 110 tentatives.
Our team answers scraping and infrastructure questions every day. Reach out and we will help you find the right setup.
Try it free. No credit card required. Instant setup.