# Recommander Webhook

Um die gepushten Daten von Ihrem Crawler Pour l'utiliser, assurez-vous de créer un point de terminaison Webhook sur votre serveur.

Votre webhook de serveur doit…

• Öffentlich erreichbar sein von Crawlbase Server
• Nous vous invitons à nous contacter POST Réponse et réponse interne de 200ms
• Répondez à l'intérieur de 200 ms avec un code d'état 200, 201 or 204 sans contenu

La structure des données dépend du format, car elle doit être envoyée à l'URL avec le paramètre de format. &format=html (c'est la Standardeinstellung) ou &format=json.

La société Crawler Le moteur envoie les dates de retour et le point de fin de rappel de votre commande POST Méthode avec gzip Compression.

Remarque: Stellen Sie sicher, dass Ihr Rückruf jederzeit verfügbar ist. Jedes Mal, wenn wir Ihren Rückruf übermitteln and Ihr Server keine erfolgreiche Answer zurückgibt, versuchen wir erneut, die Seite zu crawlen et the Übermittlung dann erneut durchzuführen. Diese Wiederholungsversuche gelten als erfolgreiche Anfragen und werden daher in Rechnung gestellt.

Remarque: Lorsque vous utilisez Zapier-Webhooks, Crawler Envoyez les dates non comprises. Zapier-Hooks ne fonctionne pas avec la compatibilité Gzip.

# Exemples d'applications

Hier finden Sie Beispiele dafür, was Sie erwarten können von Crawlbase Crawler à votre serveur webhook.

# Format HTML

Dies geschieht, wenn Sie die API aufrufen mit eux &format=html.

Headers:
  "Content-Type" => "text/plain"
  "Content-Encoding" => "gzip"
  "Original-Status" => 200
  "PC-Status" => 200
  "rid" => "The RID you received in the push call"
  "url" => "The URL which was crawled"

Body:
  The HTML of the page

# Formater JSON

Dies geschieht, wenn Sie die API aufrufen mit eux &format=json.

Headers:
  "Content-Type" => "gzip/json"
  "Content-Encoding" => "gzip"

Body:
{
  pc_status: 200,
  original_status: 200,
  rid: "The RID you received in the push call",
  url: "The URL which was crawled",
  body: "The HTML of the page"
}

Veuillez noter que pc_status et original_status müssen überprüft werden. De plus amples informations peuvent être trouvées ici ici et ici en fait.

# Tests d'intégration

Lorsque vous créez vos Webhooks, vous pouvez facilement répondre à une bonne URL pour voir.

Pour effectuer des tests, vous pouvez configurer les fonctionnalités suivantes Crawlbase Storage à Ihren Crawlern zu Testzwecken. Vous pouvez siehe hier (öffnet neues Fenster) (ouvre une nouvelle fenêtre).

# Robot de surveillance

La société Crawler Vérifiez votre URL Webhook et votre statut lorsque le Webhook est tombé. Crawler Il s'agit d'une gestion sécurisée et automatique, lorsque votre Webhook est plus actif.

Notre Überwachungsbot envoie de nouvelles informations sur votre Webhook-Endpunkt. Ignorieren Sie cese Anfragen unbedingt mit einem 200 Code d'état.

• Les mises à jour sont effectuées comme des livraisons POST avec du texte JSON übermittelt, donc comme si vous n'aviez pas de livraisons sans mise en service.
• Überwachungsanforderungen werden mit dem Benutzeragenten geliefert Crawlbase Monitoring Bot 1.0 Vous pouvez également vous efforcer d'ignorer le statut 200.

# Protégez votre Webhook

Si vous avez un point final zufälligen utilisé, comme yourdomain.com/2340JOiow43djoqe21rjosi Il s'agit d'un outil unique qui vous permet de trouver le point de terminaison Webhook dans chaque chute avec les méthodes suivantes (ou de nombreuses combinaisons) :

• Envoyer un benutzerdefinierter En-tête sur votre page Avec un jeton, vous devez exister dans votre Webhook.
• Utiliser un seul url Paramètre dans votre URL et vérifiez votre existence dans la fourniture Webhook, etc. : yourdomain.com/2340JOiow43djoqe21rjosi?token=1234
• Accepter uniquement POST Enquêtes.
• Überprüfen Sie einige der erwarteten Header (zum Beispiel Pc-Status, Original-Status, ridUsw.).

Vous pouvez utiliser vos listes blanches IP, à notre disposition Crawler von vielen verschiedenen IPs pushen können et sich die IPs ohne vorherige Benachrichtigung ändern können.