Crawler FAQ
Que se passe-t-il si mon endpoint webhook est hors service ?
Si le callback de votre Crawler est hors service, vous êtes notifié par e-mail, vos crawlers sont mis en pause et votre dernière requête échouée en raison de l'indisponibilité de votre endpoint est programmée pour être réessayée. Vos crawlers reprennent automatiquement lorsque votre endpoint redevient disponible. Notre système de surveillance vérifie votre endpoint chaque minute.
Formulations du moniteur en direct
"Waiting" signifie que vos requêtes se trouvent dans la file d'attente de votre crawler en attente de traitement. Les "Concurrent crawlers" sont les requêtes qui sont crawlées en même temps. Le nombre de crawlers concurrents est augmenté par notre système si vous avez beaucoup de pages à crawler, nous surveillons également les crawlers et augmentons ou diminuons la concurrence en fonction du pool. Les "Sets to be retried" sont vos requêtes qui ont échoué pour une raison quelconque, elles atterrissent dans la file d'attente de nouvelle tentative de votre crawler et sont traitées avec un taux de nouvelle tentative jusqu'à un maximum de 110 tentatives.
Où puis-je obtenir les clés API ?
Vous pouvez obtenir les clés API ou les tokens de requête depuis la page Documentation du compte Crawlbase.
La limite de 30 URLs par seconde peut-elle être augmentée pour les crawls à grande échelle ?
La limite de 30 URLs par seconde s'applique aux crawls LinkedIn. Pour les autres sites web, nous pouvons évaluer et éventuellement augmenter la limite au cas par cas. Veuillez nous contacter pour discuter de vos besoins spécifiques.
Still have a question?
Our team answers scraping and infrastructure questions every day. Reach out and we will help you find the right setup.
Start crawling and scraping the web today
Try it free. No credit card required. Instant setup.