crawlbaseDocs
Se connecter

Moteurs de recherche

Deux scrapers qui transforment les pages de résultats de Google et Bing en JSON structuré et propre, y compris les listes organiques, les annonces et les panneaux latéraux. Utile pour le suivi SEO, le suivi de positions et la recherche concurrentielle.

Aperçu

Les scrapers de moteurs de recherche transforment une page de résultats Google ou Bing en JSON structuré : listes organiques, annonces, knowledge panel, recherches associées et "autres questions posées" - toutes les surfaces, un seul analyseur, une seule facture. La danse du navigateur (murs de consentement, rendu JS, anti-bot, géo-routage) se déroule côté serveur ; vous recevez directement la structure analysée.

Cas d''usage courants :

  • Suivi de positions : surveillez une liste de mots-clés chaque jour, stockez la position de votre domaine (et de vos concurrents) dans organic[].url, et alertez en cas de mouvement.
  • Surveillance des fonctionnalités SERP : détectez quand Google met en avant une boîte "autres questions posées", un knowledge panel ou un aperçu IA qui repousse les résultats organiques sous la ligne de flottaison.
  • Recherche SEO : récoltez related_searches et people_also_ask pour l''analyse des lacunes de contenu sans vous abonner à un SaaS tiers.
  • Jeux de données d''entraînement IA : constituez un corpus d''instantanés "ce que Google affiche pour la requête X" pour la génération augmentée par récupération et l''évaluation de moteurs de réponse.

La zone géographique et la langue sont explicites : passez country + language dans la requête et le scraper cible le bon domaine Google (par ex. google.de pour country=DE) afin que la SERP que vous voyez corresponde à ce que voit un utilisateur de ce marché. Combinez-le avec le Smart Proxy lorsque vous avez besoin d''une pagination à session persistante sur des pages de résultats profondes.

Google

SERP Google complète - résultats organiques, annonces, snippets, recherches associées et "autres questions posées". Le scraper le plus utilisé du catalogue ; s'associe naturellement aux scrapers e-commerce *-product-details lorsque vous avez besoin d'un pipeline découverte → enrichissement.

  • Google SERP - page de résultats de recherche Google - résultats organiques, annonces, knowledge panel, recherches associées.

Bing

Page de résultats de recherche Bing. Utile lorsque vous avez besoin d'une seconde source de données pour la recherche SEO, ou lorsque votre audience penche vers l'entreprise/Windows, où la part de Bing est nettement plus élevée que ne le suggère sa part de marché globale.

  • Bing SERP - page de résultats de recherche Bing.

Exemple d'appel

Ci-dessous : un seul appel google-serp. Passez country et language à côté de l'URL lorsque vous avez besoin de la vitrine régionale - Google oriente sa SERP selon la localisation de votre IP et vos paramètres d'URL hl/gl, nous les définissons donc explicitement.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.google.com/search?q=samsung+social+accounts' \
  --data-urlencode 'scraper=google-serp' \
  --data-urlencode 'country=US' -G

Exemple de réponse

{
  "query": "samsung social accounts",
  "results": [
    {
      "title": "Samsung Mobile (@SamsungMobile) / X",
      "url": "https://x.com/SamsungMobile",
      "snippet": "The official Samsung Mobile X account…"
    }
  ],
  "related_searches": ["samsung instagram", "samsung official tiktok"],
  "people_also_ask": [
    {
      "question": "Does Samsung have a TikTok?",
      "answer": "Yes, Samsung is on TikTok at @samsung."
    }
  ]
}

Référence complète (paramètres, les 4 langages SDK, cas particuliers) : Google SERP - référence complète