Scraper les pages produit sur walmart.com

À propos de walmart.com

walmart.com se décrit ainsi : « Achetez sur Walmart.com dès aujourd’hui pour des prix bas tous les jours. Rejoignez Walmart+ pour une livraison gratuite illimitée depuis votre magasin et une expédition gratuite sans minimum de commande. Commencez votre essai gratuit de 30 jours ! ».

Ses sitemaps listent 62 116 URL dans 3 fichiers (category, browse_fst). 12 864 des 62 116 entrées datées ont changé au cours des 30 derniers jours, la plus récente le 6 sept. 2026.

Son robots.txt nomme 34 sitemaps et interdit 12 chemins, dont /account/, /api/. Il demande aux crawlers d’attendre 5s entre les requêtes.

Mesuré sur Crawlbase

Taux de réussite sur chaque requête de chaque compte en août 2026 : 92.1%. Motifs, pays et échecs viennent du journal des requêtes depuis le 14 août 2026 ; 19.3% des appels réussis ont utilisé le token JavaScript et la réponse médiane a pris 12.2s.

Parmi les 20 sites e-commerce du Cookbook, walmart.com se place 19 sur 20 au taux de réussite ; la médiane de la catégorie est de 96.3%. Sa réponse médiane de 12.2s est plus lente que la médiane de la catégorie, 2.9s. 9 des 20 acceptent le token simple ; celui-ci seulement sur certaines pages.

L’appel

Les pages produit sont la forme que les comptes récupèrent le plus ici, avec le pays et le token qui réussissent le plus souvent. Remplacez le chemin fictif par une vraie URL produit du site.

curl "https://api.crawlbase.com/?token=YOUR_JS_TOKEN&url=https%3A%2F%2Fwww.walmart.com%2Fip%2Fexample-page%2F1234567"

from crawlbase import CrawlingAPI
api = CrawlingAPI({'token': 'YOUR_JS_TOKEN'})

r = api.get('https://www.walmart.com/ip/example-page/1234567')
html = r['body']

const { CrawlingAPI } = require('crawlbase');
const api = new CrawlingAPI({ token: 'YOUR_JS_TOKEN' });

const r = await api.get('https://www.walmart.com/ip/example-page/1234567');

Les paramètres qui comptent

Motifs d’URL que les comptes récupèrent

Les champs que vous obtenez

Données structurées que Crawlbase a trouvées sur walmart.com, par type de page. Ce sont les types schema.org de la page, les champs que votre parseur peut lire directement dans le bloc JSON-LD :

• Accueil: Organization, WebSite
• Liste: FAQPage
• Article: BreadcrumbList

Ce qui casse, et la solution

Sur les échecs depuis le 14 août 2026, le site a répondu :

Lancez-la de façon planifiée

Un rafraîchissement de catalogue est une liste d’URL produit. Envoyez-la au Crawler avec un callback, laissez-le réguler les appels et réessayer ce que le site refuse, et lisez les résultats depuis le Cloud Storage. La réponse médiane sur ce site est de 12.2s.

Questions

Autres pages sur walmart.com

Pages que walmart.com liste dans ses propres sitemaps, récupérées par Crawlbase le 6 sept. 2026 et vérifiées sur 2 passages consécutifs. Chaque ligne est l’appel le moins cher qui a renvoyé la page avec son contenu.