FAQ sur les robots d'exploration

Par défaut, une requête est relancée 110 fois pendant une période de 48 heures à compter du premier moment où elle commence à être traitée.

Vous recevrez toujours un rappel en cas de succès ou d'échec, veuillez vérifier le pc_status et l'original_status pour connaître le code d'état.

Si votre Crawler Si le rappel est interrompu, vous êtes averti par e-mail, vos robots d'exploration sont mis en pause et votre dernière requête ayant échoué en raison d'un temps d'arrêt sur votre point de terminaison est configurée pour être relancée. Vos robots d'exploration reprennent automatiquement lorsque votre point de terminaison redevient disponible. Notre système de surveillance vérifie votre point de terminaison toutes les minutes.

« En attente » signifie que vos requêtes sont dans la file d'attente de votre robot d'exploration en attente d'être traitées. Les « robots d'exploration simultanés » sont les requêtes qui sont explorées en même temps. Les robots d'exploration simultanés sont augmentés par notre système si vous avez de nombreuses pages à explorer. Nous surveillons également les robots d'exploration et augmentons ou diminuons la concurrence en fonction du pool. Les « ensembles à réessayer » sont vos requêtes qui ont échoué pour une raison quelconque, elles atterrissent dans la file d'attente de réessai de votre robot d'exploration et sont traitées avec un taux de réessai allant jusqu'à 110 tentatives maximum.

Vous pouvez obtenir les clés API ou demander des jetons à partir de la page de documentation du compte Crawlbase.

https://crawlbase.com/dashboard/account/docs

La limite de 30 URL par seconde s'applique aux crawls LinkedIn. Pour les autres sites Web, nous pouvons évaluer et éventuellement augmenter la limite au cas par cas. Veuillez contactez-nous