Docs
Se connecter

Scraper API

Plus besoin de parser. Choisissez un scraper, pointez-le vers une URL et récupérez du JSON structuré et propre. Les scrapers couvrent Amazon, Google, LinkedIn, Instagram, eBay, et bien d'autres.

Migrez vers la Crawling API avec &scraper=name

Mêmes scrapers, endpoint plus simple, plus de paramètres. La Scraper API autonome est fermée aux nouvelles inscriptions depuis le 1er octobre 2024 : les intégrations existantes continuent de fonctionner, aucune date d'arrêt n'est prévue, et la migration se résume à modifier une seule ligne dans l'URL.

Endpoint

GEThttps://api.crawlbase.com/scraper?token=YOUR_TOKEN&url=ENCODED_URL&scraper=NAME
# Identical to the Crawling API, plus a required `scraper` parameter.
# Returns parsed JSON instead of raw HTML.

Démarrage rapide - produit Amazon

curl 'https://api.crawlbase.com/scraper?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.amazon.com/dp/B08N5WRWNW' \
  --data-urlencode 'scraper=amazon-product-details' -G
from crawlbase import ScraperAPI

api = ScraperAPI({'token': 'YOUR_TOKEN'})
res = api.get(
    'https://www.amazon.com/dp/B08N5WRWNW',
    {'scraper': 'amazon-product-details'}
)
import json
data = json.loads(res['body'])
print(data['name'], data['price'])
const { ScraperAPI } = require('crawlbase');
const api = new ScraperAPI({ token: 'YOUR_TOKEN' });

const res = await api.get(
  'https://www.amazon.com/dp/B08N5WRWNW',
  { scraper: 'amazon-product-details' }
);
const data = JSON.parse(res.body);
console.log(data.name, data.price);

Exemple de réponse :

{
  "name": "Echo Dot (4th Gen) | Smart speaker with Alexa",
  "asin": "B08N5WRWNW",
  "brand": "Amazon",
  "price": "$49.99",
  "availability": "In Stock",
  "rating": 4.7,
  "reviews_count": 412903,
  "main_image": "https://m.media-amazon.com/images/I/61MZi+B-OBL.jpg",
  "images": ["…"],
  "features": ["Meet the all-new Echo Dot…"],
  "description": "Our most popular smart speaker…"
}

Catalogue de scrapers

Un échantillon représentatif des scrapers disponibles. Passez le nom du scraper dans le paramètre scraper.

Amazon

ScraperRenvoie
amazon-product-detailsPage produit : nom, prix, notes, images, caractéristiques
amazon-search-resultsPage de résultats de recherche : produits, pagination, filtres
amazon-reviewsPage d'avis avec note, auteur, date, contenu, nombre de votes utiles
amazon-bestsellersClassements Meilleures ventes par catégorie
amazon-questionsSection Questions-Réponses des clients

Google

ScraperRenvoie
google-serpRésultats de recherche : organiques, annonces, knowledge panel, recherches associées
google-shoppingAnnonces de l'onglet Shopping avec marchand, prix, note
google-newsRésultats de l'onglet Actualités avec source, extrait, heure
google-mapsPage de lieu : nom, adresse, horaires, notes, avis
google-scholarRésultats de recherche académique avec citations

Réseaux sociaux

ScraperRenvoie
linkedin-profileDonnées de profil public : expérience, formation, compétences
linkedin-companyPage d'entreprise : taille, secteur, siège
instagram-profileMétadonnées de profil, publications récentes, nombre d'abonnés
tiktok-profileProfil utilisateur TikTok et vidéos récentes
youtube-channelMétadonnées de chaîne, nombre d'abonnés, mises en ligne récentes

Autres places de marché

ScraperRenvoie
ebay-product-detailsDonnées d'annonce eBay
walmart-productPage produit Walmart
yelp-businessFiche entreprise Yelp avec résumé des avis
booking-hotelPage d'hôtel Booking.com avec tarifs et équipements
tripadvisor-attractionPage d'attraction TripAdvisor
Vous ne trouvez pas ce qu'il vous faut ?

Le catalogue complet se trouve dans votre tableau de bord. De nouveaux scrapers sont ajoutés chaque mois. Écrivez-nous s'il vous faut un scraper personnalisé pour un site que nous ne couvrons pas encore.

Détection automatique avec autoparse

Si vous connaissez l'URL mais ne voulez pas chercher le bon nom de scraper, utilisez autoparse=true sur l'endpoint standard de la Crawling API. Nous détecterons le type de page et appliquerons automatiquement le scraper correspondant.

curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
  --data-urlencode 'url=https://www.amazon.com/dp/B08N5WRWNW' \
  --data-urlencode 'autoparse=true' -G

# Crawlbase recognizes the Amazon URL and auto-applies amazon-product-details

Paramètres

L'endpoint Scraper API accepte la même structure que la Crawling API, limitée aux cinq paramètres ci-dessous plus le nom du scraper. Pour des notes plus détaillées sur chaque paramètre partagé, la référence de la Crawling API fait foi : cette liste est la référence autonome de l'endpoint /scraper hérité.

token
chaînerequis
Votre token Crawlbase privé. Le Normal token est utilisé par défaut ; utilisez le JavaScript token lorsqu'il est combiné avec javascript=true.
url
chaînerequis
URL cible à scraper. Doit commencer par http ou https et être entièrement URL-encodée.
scraper
chaînerequis
Nom du scraper à appliquer. Voir le catalogue ci-dessus pour la liste des scrapers pris en charge.
country
ISO 3166optionnel
Géolocalisez la requête depuis un pays spécifique (par ex. US, GB, DE). La disponibilité des pays dépend du forfait ; la liste complète des pays se trouve dans la référence des paramètres de la Crawling API.
javascript
booléenfalse
Rend la page dans un véritable navigateur Chrome avant le scraping. Définissez javascript=true pour les SPA et les pages rendues en JS. Coûte 2 crédits par requête ; nécessite le JavaScript token, et non le Normal token.
premium
booléenfalse
Route la requête via le réseau résidentiel premium de Crawlbase pour les cibles anti-bot les plus coriaces. Coûte 10 crédits par requête, ou 20 crédits lorsqu'il est combiné avec javascript=true. Dépend du forfait.

Erreurs spécifiques au Scraper

CodeSignification
422Nom de scraper inconnu. Vérifiez l'orthographe par rapport au catalogue.
423L'URL ne correspond pas au format attendu par le scraper (par exemple amazon-product-details sur une URL qui n'est pas une page produit).
425La structure de la page a changé et le scraper n'a pas pu extraire les données. Signalé automatiquement ; généralement corrigé en quelques heures.