Scraper les pages section sur indianexpress.com

À propos de indianexpress.com

indianexpress.com se décrit ainsi : « Retrouvez les actualités du jour, les dernières nouvelles et les grands titres d’Inde et du monde entier. Restez informé sur la politique, l’économie, le sport, le divertissement et plus encore avec The Indian Express ».

Sa page d’accueil déclare 4 langues : en-in, en, en-us, en-ca.

Ses sitemaps listent 2 280 URL dans 19 fichiers (news-sitemap, video-sitemap, category-sitemap, allsitemap, aboutsitemap1, aboutsitemap2). 418 des 1 807 entrées datées ont changé au cours des 30 derniers jours, la plus récente le 14 août 2026.

Son robots.txt nomme 11 sitemaps et interdit 12 chemins, dont /wp-admin/, /dummy/, /homepage/.

Mesuré sur Crawlbase

Taux de réussite sur chaque requête de chaque compte en août 2026 : 99.1%. Motifs, pays et échecs viennent du journal des requêtes depuis le 14 août 2026 ; 4.2% des appels réussis ont utilisé le token JavaScript et la réponse médiane a pris 3.0s.

Parmi les 74 sites actualités et médias du Cookbook, indianexpress.com se place 35 sur 74 au taux de réussite ; la médiane de la catégorie est de 98.9%. Sa réponse médiane de 3.0s est plus lente que la médiane de la catégorie, 2.3s. 58 des 74 acceptent le token simple, celui-ci compris.

L’appel

Les pages d’article sont la forme que les comptes récupèrent le plus ici, avec le pays et le token qui réussissent le plus souvent. Remplacez le chemin fictif par une vraie URL d’article du site.

curl "https://api.crawlbase.com/?token=YOUR_TOKEN&url=https%3A%2F%2Fwww.indianexpress.com%2Fsection%2Fexample-page"

from crawlbase import CrawlingAPI
api = CrawlingAPI({'token': 'YOUR_TOKEN'})

r = api.get('https://www.indianexpress.com/section/example-page')
html = r['body']

const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_TOKEN' });

const r = await api.get('https://www.indianexpress.com/section/example-page');

Les paramètres qui comptent

Motifs d’URL que les comptes récupèrent

Les champs que vous obtenez

Données structurées que Crawlbase a trouvées sur indianexpress.com, par type de page. Ce sont les types schema.org de la page, les champs que votre parseur peut lire directement dans le bloc JSON-LD :

• Accueil: WebPage, ViewAction, NewsMediaOrganization, SiteNavigationElement, WebSite
• Page détail: NewsMediaOrganization, NewsArticle, VideoObject, SiteNavigationElement, WebSite
• Liste: WebPage, ViewAction, BreadcrumbList, ItemList, NewsMediaOrganization, SiteNavigationElement, WebSite
• Autre: WebPage, ViewAction, BreadcrumbList, ItemList, NewsMediaOrganization, SiteNavigationElement, WebSite

Ce qui casse, et la solution

Sur les échecs depuis le 14 août 2026, le site a répondu :

Lancez-la de façon planifiée

L’actualité bouge d’heure en heure. Interrogez la rubrique ou le sitemap pour les nouveaux liens, puis envoyez les URL d’articles au Crawler avec un callback pour que les récupérations soient régulées. La réponse médiane sur ce site est de 3.0s.

Questions

Autres pages sur indianexpress.com

Pages que indianexpress.com liste dans ses propres sitemaps, récupérées par Crawlbase le 6 sept. 2026 et vérifiées sur 2 passages consécutifs. Chaque ligne est l’appel le moins cher qui a renvoyé la page avec son contenu.