# Crawling API dans quelques minutes

Je connais l'API que vous utilisez pour l'intégration Crawlbase Dans votre projet d'analyse, vous devez faire preuve de légèreté.

# Voici votre API

L'API d'adresse URL correspond au niveau de base suivant : https://api.crawlbase.com

Vous devez donc régler votre premier problème comme cela, afin de pouvoir passer la commande au terminal.
Essayez-le!

curl 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'

Je n'utilise pas de langue officielle, mais j'utilise JavaScript, ce qui signifie que je vais le faire en utilisant les navigateurs JavaScript, j'utilise le bouton, Si votre contenu est nouveau, vous devez utiliser JavaScript pour le client de stockage, afin que vous puissiez utiliser votre jeton JavaScript.
Produisez et effectuez l'analyse de JS !

curl 'https://api.crawlbase.com/?token=_JS_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories'

prudence которая POSTEZ Les mesures à prendre sont également prises en compte. Пожалуйста venez ici Pour fournir des informations supplémentaires ou proposer des paramètres API.

# Essai gratuit

J'ai dépensé 1,000 XNUMX dollars.

Il est conseillé d'utiliser la version du problème dans le numéro ci-dessus !

# La limite de vitesse

Exploration maximale de l'API 20 XNUMX jours dans la seconde, за токен (лимит скорости может быть увеличен по запросу).

C'est ce que vous pouvez faire en 20 millions de dollars par seconde, ils ont dépensé 51 millions de dollars en mois, независимо от количества используемых потоков.

API désactivée 429 le statut du code est défini pour les limites de score.

Note: Les conditions d'utilisation peuvent être plus grandes que les limites minimales. Si vous avez des difficultés à dépasser les limites de votre vie, vous pouvez le faire обратитесь в службу поддержки, (открывается новое окно) (ouvre une nouvelle fenêtre).

# API de l'interface utilisateur

La période d'ouverture de l'API dure 4 à 10 secondes, mais nous recommandons L'utilisation du temps pour les звонков ne dure que 90 secondes.

# Успех против неудачи

J'ai trouvé le plateau juste pour les tâches habituelles (см. statue historique и station PK в параметрах ответа ниже).

# Autres notes

• Si vous prévoyez d'utiliser la bibliothèque pour l'intégration Crawlbase, vous pouvez télécharger gratuitement Les bibliothèques API sont disponibles (ouvertes en ce moment) (ouvre une nouvelle fenêtre).
• Il est recommandé d'utiliser gzip-заголовок Accept-Encoding.
• Si vous utilisez Scrapy pour Python, pensez-y Ouvrir le DNS (ouvrir le nouveau bouton) (ouvre une nouvelle fenêtre).

# Authentification

Pour l'utilisation de l'API, vous devez effectuer une authentification.
Vous êtes à la recherche d'une touche : un pour les utilisateurs expérimentés et un autre pour les utilisateurs JavaScript (les vrais navigateurs).