Scraper les articles sur topgear.com

Mesuré sur Crawlbase

Taux de réussite sur chaque requête de chaque compte en August 2026 : 99.9%. Motifs, pays et échecs viennent du journal des requêtes depuis le 14 Aug 2026 ; 1.1% des appels réussis ont utilisé le token JavaScript et la réponse médiane a pris 1.9s.

Parmi les 16 sites automobile du Cookbook, topgear.com se place 5 sur 16 au taux de réussite ; la médiane de la catégorie est de 99.3%. Sa réponse médiane de 1.9s est au niveau de la médiane de la catégorie, 1.9s. 12 des 16 acceptent le token simple, celui-ci compris.

L’appel

Les pages d’article sont la forme que les comptes récupèrent le plus ici, avec le pays et le token qui réussissent le plus souvent. Remplacez le chemin fictif par une vraie URL d’article du site.

curl "https://api.crawlbase.com/?token=YOUR_TOKEN&url=https%3A%2F%2Fwww.topgear.com%2Fcar-news"

from crawlbase import CrawlingAPI
api = CrawlingAPI({'token': 'YOUR_TOKEN'})

r = api.get('https://www.topgear.com/car-news')
html = r['body']

const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const r = await api.get('https://www.topgear.com/car-news');

Les paramètres qui comptent

Motifs d’URL que les comptes récupèrent

Les champs que vous obtenez

Une page d’article porte un titre, une date et un auteur, en général dans un bloc ld+json Article, et le corps dans le HTML. Le bloc nomme souvent aussi la rubrique.

Ce qui casse, et la solution

Lancez-la de façon planifiée

L’actualité bouge d’heure en heure. Interrogez la rubrique ou le sitemap pour les nouveaux liens, puis envoyez les URL d’articles au Crawler avec un callback pour que les récupérations soient régulées. La réponse médiane sur ce site est de 1.9s.

Questions