# Comment cela fonctionne-t-il ?

Si vous souhaitez utiliser l'API d'exploration derrière un proxy, veuillez vous référer à la documentation du Smart AI Proxy (Ouvre une nouvelle fenêtre) (ouvre une nouvelle fenêtre) produit. Si vous ne souhaitez pas acheter un Smart AI Proxy abonnement ou vous souhaitez utiliser toutes les fonctionnalités du Crawling API sans limitations et une limite de débit plus élevée, veuillez continuer à lire le paragraphe suivant.

Tous Crawling API en mode proxy, les appels doivent être dirigés vers smartproxy.crawlbase.com En utilisant votre jeton d'accès comme nom d'utilisateur proxy. Vous pouvez utiliser HTTPS (port 8001, recommandé) ou HTTP (port 8000) selon vos besoins. Notez que ces ports sont différents de ceux utilisés dans le Smart AI Proxy, assurez-vous donc d'utiliser les ports appropriés. Tout ce qui est mentionné dans le Smart AI Proxy la documentation reste la même.

Effectuer votre premier appel est donc aussi simple que d'exécuter l'une des lignes suivantes dans le terminal. N'hésitez pas à essayer !

Utilisation de HTTPS (recommandé) :

curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"

Utilisation de l'alternative HTTP :

curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"

Pour effectuer des requêtes JavaScript (navigateur sans tête) au lieu de requêtes normales, essayez ce qui convient dans votre terminal :

Utilisation de HTTPS (recommandé) :

curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"

Utilisation de l'alternative HTTP :

curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"

# Limite de débit

Par défaut, le Crawling API en mode proxy, le débit est limité à 20 requêtes par seconde (1.728 M de requêtes/jour). Si votre solution de gestion de proxy fonctionne avec des requêtes/threads simultanées au lieu de requêtes par seconde, il est important de noter que 20 requêtes par seconde se convertissent en beaucoup plus de requêtes simultanées en général. Par exemple, si vous explorez Amazon avec crawlbase, la requête prend en moyenne environ 4 secondes, donc 20 requêtes par seconde se convertissent en 80 threads simultanés. Si le site Web que vous explorez répond rapidement, vous avez besoin de moins de requêtes simultanées. Si vous atteignez la limite de requêtes simultanées, veuillez contacter le support technique (ouvre une nouvelle fenêtre) (ouvre une nouvelle fenêtre) avec votre cas d'utilisation pour augmenter votre concurrence.