Tous les scrapers
Des extracteurs de données nommés qui transforment les pages web prises en charge en JSON structuré et propre. Aucun parsing HTML de votre côté. Choisissez un scraper, pointez-le vers une URL, récupérez les champs dont vous avez réellement besoin.
Les scrapers s'appuient sur la Crawling API. Ajoutez &scraper=NAME à n'importe quel appel à la Crawling API et vous récupérez du JSON parsé au lieu du HTML brut. Même token, mêmes limites de débit, mêmes retries : seule la forme de la réponse change.
Démarrage rapide
curl 'https://api.crawlbase.com/?token=YOUR_TOKEN' \
--data-urlencode 'url=https://www.amazon.com/dp/1098145356' \
--data-urlencode 'scraper=amazon-product-details' -GParcourir le catalogue
Chaque scraper dispose de sa propre page avec le format d'entrée, le schéma de sortie et des exemples de code dans plusieurs langages. Cliquez sur n'importe quel nom ci-dessous pour voir tous les détails.
Amazon
Détails de produits, résultats de recherche, avis, meilleures ventes, nouveautés.
- Amazon Product Details
- Amazon SERP
- Amazon Offer Listing
- Amazon Product Reviews
- Amazon Best Sellers
- Amazon New Releases
Pages de résultats de moteur de recherche avec toutes les fonctionnalités SERP, ainsi que les offres produits Shopping.
Groupes publics, pages, profils, hashtags, événements. JS token recommandé.
Reels, publications, profils, hashtags, agrégations audio. JS token recommandé.
TikTok
Shop, produits, profils. Avis, prix, métriques de vendeurs, vidéos associées.
Profils, entreprises, fils publics. Récupérez l'expérience, la formation, les compétences, le nombre d'employés et plus encore.
Quora
Airbnb
eBay
AliExpress
Galaxus
Bing
Immobilienscout24
Walmart
Best Buy
G2
Eventbrite
GitHub
Scrapers de plateforme de développement pour GitHub - pages de dépôts, résultats de recherche de dépôts et profils d'utilisateurs ou d'organisations. Consultez la catégorie Développeur pour une vue d'ensemble.
Scrapers de plateformes communautaires pour Reddit - listings de subreddits, résultats de recherche et publications individuelles avec leurs arbres de commentaires. Consultez la catégorie Réseaux sociaux pour une vue d'ensemble.
Booking.com
Scrapers de voyage et d'hôtellerie pour Booking.com - listings de résultats de recherche et pages hôtel individuelles avec les prix, les scores des avis et les équipements. Voir la catégorie Voyages, événements et immobilier pour une vue d'ensemble.
Product Hunt
Scrapers Product Hunt - classements quotidiens et hebdomadaires, et pages de produits individuelles avec votes, créateurs, sujets et avis. Consultez la catégorie Avis et Q&R pour une vue d'ensemble.
Stack Exchange
Scrapers Stack Exchange - listes de questions, de tags et de recherche, et threads de question unique avec chaque réponse et commentaire, sur l'ensemble du réseau Stack Exchange.
Exercism
Scrapers de plateforme de développement pour Exercism - listes d'exercices de pistes, instructions d'exercices individuels, listes de solutions communautaires et solutions publiées individuelles. Consultez la catégorie Développeur pour une vue d'ensemble.
Kaggle
Scrapers de plateforme de data science pour Kaggle - recherche de jeux de données et pages de jeu de données individuelles, recherche de notebooks et pages de notebook individuelles. Consultez la catégorie Développeur pour une vue d'ensemble.
OLX
Scrapers de marketplace de petites annonces pour OLX - pages de résultats de recherche/catégorie et pages d'annonce individuelle, sur le frontend partagé d'OLX (olx.pl, olx.ua, olx.pt, olx.ro, olx.bg, olx.kz, olx.uz). Consultez la catégorie E-Commerce pour une vue d'ensemble.
Générique
Extracteurs indépendants du site qui fonctionnent sur n'importe quelle URL.
Vous ne trouvez pas ce qu'il vous faut ?
Pour les sites non pris en charge, vous pouvez toujours utiliser la Crawling API sans scraper pour obtenir le HTML complet et le parser vous-même. De nouveaux scrapers sortent chaque mois : contactez le support si vous avez une demande spécifique.