Proxy API

Endpoint

# Username = your token + optional session/country qualifiers
# Password = blank

Utilisation de base

curl -x 'http://YOUR_TOKEN:@backconnect.crawlbase.com:9000' \
     'https://httpbin.org/ip'

import requests

proxies = {
    'http':  'http://YOUR_TOKEN:@backconnect.crawlbase.com:9000',
    'https': 'http://YOUR_TOKEN:@backconnect.crawlbase.com:9000',
}
res = requests.get('https://httpbin.org/ip', proxies=proxies)

Par défaut, chaque requête passe par une IP résidentielle différente : rotation pure.

Sessions persistantes

Pour épingler des requêtes à une seule IP, ajoutez un identifiant de session à votre nom d'utilisateur. Le même identifiant de session renvoie la même IP pendant environ 30 minutes.

# Format: TOKEN-session-SESSION_ID
curl -x 'http://YOUR_TOKEN-session-checkout42:@backconnect.crawlbase.com:9000' \
     'https://shop.example.com/cart'

Ciblage par pays

# Format: TOKEN-country-XX
curl -x 'http://YOUR_TOKEN-country-DE:@backconnect.crawlbase.com:9000' \
     'https://www.amazon.de'

# Combine: country + session
curl -x 'http://YOUR_TOKEN-country-DE-session-cart-1:@backconnect.crawlbase.com:9000' \
     'https://www.amazon.de/cart'

Qualificateurs de nom d'utilisateur

Référence de tous les modificateurs de nom d'utilisateur disponibles, combinés avec des tirets.

IPs statiques et géolocalisation

Lorsque vous devez conserver la même IP de sortie sur plusieurs requêtes (parcours de paiement multi-étapes, connexion à un compte + scraping, tout ce qui dépend de la reconnaissance du même client par le site cible), Backconnect peut verrouiller une IP statique et renvoyer le port et la durée de vie de la session. Le proxy maintient alors cette IP liée à votre token tant que vous continuez à l'utiliser dans la fenêtre de session.

L'endpoint IP statique est limité à 1 requête toutes les 5 minutes par pays (ou 1 toutes les 5 minutes au total si aucun pays n'est spécifié). Mettez en cache le port reçu par votre client : ne le redemandez pas à chaque crawl.

Obtenir une IP statique

Renvoie un port à utiliser avec proxy.crawlbase.com, ainsi que le nombre de secondes pendant lequel la liaison reste active. Le minuteur de session se prolonge automatiquement tant que vous continuez à envoyer du trafic via ce port dans la fenêtre.

curl 'https://api.crawlbase.com/proxy/static?token=YOUR_TOKEN'

# Response
# { "port": 1234, "host": "proxy.crawlbase.com", "session_time": 10 }

IP statique depuis un pays spécifique

Passez un code pays ISO 3166 à 2 lettres (US, GB, DE, IT, RU, …) pour fixer l'IP statique à cette zone géographique. Si aucun port n'est actuellement libre dans le pays demandé, la réponse contient une erreur : reculez et réessayez en respectant la limite par bucket de pays.

curl 'https://api.crawlbase.com/proxy/static?token=YOUR_TOKEN&country=FR'

# Response
# { "port": 4551, "host": "proxy.crawlbase.com", "session_time": 10 }

Liste blanche d'IP

Backconnect prend en charge la liste blanche d'IP : laissez les IP sortantes de votre serveur s'authentifier auprès du proxy sans envoyer le token à chaque requête. Utile pour les pipelines à IP fixe qui ne veulent pas d'identifiants dans le code, et seule façon d'utiliser Backconnect depuis des environnements qui ne peuvent pas transmettre d'en-tête Proxy-Authorization.

Trois endpoints, tous sous /proxy/whitelist_ips, différenciés par la méthode HTTP. Les modifications mettent jusqu'à 1 minute à se propager.

Ajouter une IP à la liste blanche

curl -X POST 'https://api.crawlbase.com/proxy/whitelist_ips?token=YOUR_TOKEN&ip=123.123.123.123'

Retirer une IP de la liste blanche

curl -X DELETE 'https://api.crawlbase.com/proxy/whitelist_ips?token=YOUR_TOKEN&ip=123.123.123.123'

Voir les IPs en liste blanche

Renvoie la liste actuelle des IPs en liste blanche pour votre token, au format JSON.

curl 'https://api.crawlbase.com/proxy/whitelist_ips?token=YOUR_TOKEN'

Backconnect vs Smart AI Proxy