Documentation Crawlbase

# Получение веб-хука

Si vous souhaitez utiliser les données de votre scanner, vous ne pourrez pas vous connecter à votre serveur.

Votre serveur est prêt à être utilisé...

  • Быть доступным для общественности Crawlbase serveurs
  • Будьте готовы получить POST звонит и отвечает в течение 200 мс
  • Ответьте в течение 200 мс, указав код статуса. 200, 201 or 204 sans ordonnance

Si vous avez besoin de structurer votre formulaire, vous l'aurez trouvé en ouvrant l'adresse URL au format paramétré. &format=html (что является значением по умолчанию) ou &format=json.

La Crawler Le lecteur ouvre la journée en un rien de temps pour que vous puissiez le faire POST mètre avec gzip joie.

Note: Alors, ce que vous avez à faire en ce moment. Alors, comment pouvez-vous télécharger votre ordinateur et votre serveur sans pouvoir mettre à jour votre réponse, mon avis est le suivant scanner страницы, а затем снова пытаемся доставить. C'est la population populaire qui s'est rendue compte qu'elle s'en occupait.

Note: Si vous utilisez Zapier, Crawler не отправляет сжатые данные. Huki Zapier ne fonctionne pas avec Gzip.

# Proposer des exemples

Si vous avez des exemples, ce que vous pouvez faire Crawlbase Crawler к веб-хуку вашего сервера.

# Format HTML

C'est ainsi que vous pouvez utiliser l'API pour le faire &format=html.

Headers:
  "Content-Type" => "text/plain"
  "Content-Encoding" => "gzip"
  "Original-Status" => 200
  "PC-Status" => 200
  "rid" => "The RID you received in the push call"
  "url" => "The URL which was crawled"

Body:
  The HTML of the page

# Format JSON

C'est ainsi que vous pouvez utiliser l'API pour le faire &format=json.

Headers:
  "Content-Type" => "gzip/json"
  "Content-Encoding" => "gzip"

Body:
{
  pc_status: 200,
  original_status: 200,
  rid: "The RID you received in the push call",
  url: "The URL which was crawled",
  body: "The HTML of the page"
}

S'il vous plaît noter que pc_status и original_status должны быть проверены. Vous pouvez acheter plus que rien ici и ici respectivement.

# Test d'intégration

Lors de votre connexion, vous pouvez facilement afficher l'adresse URL correspondante.

Pour les tests obligatoires, vous pouvez utiliser Crawlbase Storage в ваших краулерах для целей тестирования. Vous pouvez посмотреть здесь (открывается новое окно) (ouvre une nouvelle fenêtre).

# Bot de surveillance

La Crawler Vous pouvez accéder à l'URL de votre site Web, qui indique votre statut, si votre site Web ne fonctionne pas Crawler Приостановится и возобновится автоматически, когда ваш веб-хук снова заработает.

Votre robot de surveillance va devoir utiliser les mesures nécessaires pour que vous puissiez le faire. Обязательно игнорируйте эти запросы с помощью 200 code postal.

  • Les mesures de surveillance postérieures au post-traitement du téléphone json, ainsi que celles que vous avez utilisées sans surveillance.
  • Mesures de surveillance postérieures à l'agent polonais Crawlbase Monitoring Bot 1.0 Vous pouvez alors ignorer votre statut 200.

# Защита вашего вебхука

Si vous utilisez un appareil de nettoyage, par exemple yourdomain.com/2340JOiow43djoqe21rjosi Bien sûr, ce qui est évident, mais dans le club, vous pouvez mettre le doigt sur votre travail de préparation méthodes (или несколькими из них в сочетании):

  • Envoyer des projets individuels pour votre entreprise Avec l'aide de la tokéna, vous devez vous assurer que vous êtes dans votre magasin.
  • Utilisez certains url paramètrer votre URL et vérifier votre adresse lors de la mise en ligne de votre site Web, par exemple : yourdomain.com/2340JOiow43djoqe21rjosi?token=1234
  • Utiliser le tag POST demandes.
  • Проверьте наличие некоторых ожидаемых заголовков (par exemple, Pc-Status, Original-Status, ridEtc.).

Il n'est pas recommandé de choisir une adresse IP dans un miroir, car vos scanners peuvent ouvrir les adresses IP de votre choix. je peux меняться без предварительного уведомления.

← Crawler API →

© 2025 Crawlbase