Crawling API / DuckDuckGoDuckDuckGo Scraper.
DuckDuckGo Scraper.
Chaque résultat, entièrement rendu.
Envoyez n'importe quelle URL de résultats DuckDuckGo et récupérez le HTML entièrement rendu, via des proxys résidentiels avec gestion anti-bot intégrée.
Transformez-le en JSON avec le generic extractor.
Feed de crawl en direct · DuckDuckGo1.24M req/minStreaming
200duckduckgo.com/?q=data+pipeline&t=h_DE80ms
200duckduckgo.com/?q=python+tutorial&t=h_BR172ms
200duckduckgo.com/?q=web+scraping+api&ia=webIN62ms
200duckduckgo.com/?q=ai+startups&ia=webUS195ms
200duckduckgo.com/?q=web+scrapingFR49ms
200duckduckgo.com/?q=electric+cars&ia=webFR103ms
200duckduckgo.com/?q=python+tutorial&t=h_NL98ms
200duckduckgo.com/?q=electric+cars&ia=webSG75ms
200duckduckgo.com/?q=remote+jobs&ia=webFR167ms
200duckduckgo.com/?q=web+scrapingUS149ms
200duckduckgo.com/html/?q=privacy+browserSG113ms
200duckduckgo.com/html/?q=privacy+browserIN77ms
200duckduckgo.com/html/?q=best+vpnGB93ms
200duckduckgo.com/?q=ecommerce+platform&t=h_FR100ms
200duckduckgo.com/html/?q=seo+toolsGB133ms
200duckduckgo.com/?q=remote+jobs&ia=webSG217ms
200duckduckgo.com/html/?q=best+vpnSG166ms
200duckduckgo.com/?q=web+scrapingBR131ms
404duckduckgo.com/?q=ai+startups&ia=webJP73ms
301duckduckgo.com/html/?q=privacy+browserFR172ms
200duckduckgo.com/?q=web+scrapingUS126ms
200duckduckgo.com/html/?q=best+vpnFR134ms
200duckduckgo.com/html/?q=privacy+browserUS140ms
301duckduckgo.com/?q=machine+learningAU48ms
200duckduckgo.com/?q=ecommerce+platform&t=h_NL162ms
200duckduckgo.com/?q=ai+startups&ia=webBR172ms
200duckduckgo.com/?q=data+pipeline&t=h_DE80ms
200duckduckgo.com/?q=python+tutorial&t=h_BR172ms
200duckduckgo.com/?q=web+scraping+api&ia=webIN62ms
200duckduckgo.com/?q=ai+startups&ia=webUS195ms
200duckduckgo.com/?q=web+scrapingFR49ms
200duckduckgo.com/?q=electric+cars&ia=webFR103ms
200duckduckgo.com/?q=python+tutorial&t=h_NL98ms
200duckduckgo.com/?q=electric+cars&ia=webSG75ms
200duckduckgo.com/?q=remote+jobs&ia=webFR167ms
200duckduckgo.com/?q=web+scrapingUS149ms
200duckduckgo.com/html/?q=privacy+browserSG113ms
200duckduckgo.com/html/?q=privacy+browserIN77ms
200duckduckgo.com/html/?q=best+vpnGB93ms
200duckduckgo.com/?q=ecommerce+platform&t=h_FR100ms
200duckduckgo.com/html/?q=seo+toolsGB133ms
200duckduckgo.com/?q=remote+jobs&ia=webSG217ms
200duckduckgo.com/html/?q=best+vpnSG166ms
200duckduckgo.com/?q=web+scrapingBR131ms
404duckduckgo.com/?q=ai+startups&ia=webJP73ms
301duckduckgo.com/html/?q=privacy+browserFR172ms
200duckduckgo.com/?q=web+scrapingUS126ms
200duckduckgo.com/html/?q=best+vpnFR134ms
200duckduckgo.com/html/?q=privacy+browserUS140ms
301duckduckgo.com/?q=machine+learningAU48ms
200duckduckgo.com/?q=ecommerce+platform&t=h_NL162ms
200duckduckgo.com/?q=ai+startups&ia=webBR172ms
01 Démo en direct
Une URL DuckDuckGo en entrée. HTML ou JSON en sortie.
La Crawling API, tapée en direct. Obtenez le HTML rendu, ou passez au generic extractor pour du JSON. Survolez pour mettre en pause et lire.
Lancez votre premier request en quelques minutes. Jusqu'à 10,000 requests gratuits, sans carte bancaire.Commencer gratuitement
02 Fonctionnalités
Une seule API, pour tout ce que DuckDuckGo vous oppose.
DuckDuckGo rend ses résultats en JavaScript et déclenche des limites de débit et des contrôles anti-bot en volume. La Crawling API le rend dans un vrai navigateur, l'atteint via des IP résidentielles, et vous remet du HTML ou du JSON propre.
render
Rendu JavaScript complet
Un vrai navigateur exécute la page, si bien que les résultats organiques chargés dynamiquement, les titres, les snippets et les liens sont tous capturés, pas seulement la coquille initiale.
proxies
140M d'IP résidentielles
Chaque request fait tourner une IP résidentielle sur 30 zones géographiques, pour que vous atteigniez DuckDuckGo comme un véritable chercheur local et voyiez les classements locaux.
anti-bot
Les blocages gérés pour vous
Les CAPTCHA, les murs anti-bot et les limites de débit sont franchis automatiquement. Rien à résoudre, rien à maintenir.
format
HTML ou JSON
Obtenez le HTML entièrement rendu, ou ajoutez scraper=generic-extractor pour renvoyer le titre, le contenu, les images et les liens en JSON structuré.
extras
Screenshots et asynchrone
Le même appel peut capturer un screenshot pleine page, ou s'exécuter de façon asynchrone avec des webhooks et du cloud storage.
one token
Une seule API pour chaque site
La Crawling API fonctionne sur n'importe quelle URL, si bien que le même token couvre DuckDuckGo et tout le reste que vous crawlez. Voir la démo en direct.
03 Sortie
HTML rendu, ou JSON propre.
Par défaut vous obtenez le HTML rendu. Ajoutez le generic-extractor et la même page revient en JSON typé.
{
"title": "web scraping at DuckDuckGo",
"favicon": "https://duckduckgo.com/favicon.ico",
"meta": { "description": "DuckDuckGo. Privacy, simplified.", "keywords": "..." },
"content": "Organic results, titles, snippets and result URLs for the query...",
"canonical": "https://duckduckgo.com/?q=web+scraping",
"images": [ "..." ],
"og_images": [ "..." ],
"links": [ "..." ]
}
Page
title · string canonical · string favicon · string
Meta
meta.description · string meta.keywords · string
Contenu
content · string
Média
images · array og_images · array
Liens
links · array
04 Comment ça marche
De l'URL aux données en un seul appel.
Chaque request DuckDuckGo suit le même chemin. Vous envoyez une URL, nous gérons tout ce qui se passe entre les deux.
01
Envoyez l'URL
Passez n'importe quelle URL publique de résultats DuckDuckGo avec votre token : une requête, l'endpoint HTML, une verticale ou une recherche filtrée.
02
Faites tourner un proxy
Une IP résidentielle et une zone géographique qui atteignent DuckDuckGo proprement, tirées de 140M d'IP sur 30 régions.
03
Rendez la page
Un vrai navigateur charge la page pour que les résultats organiques rendus en JavaScript, les titres et les snippets s'affichent avant la capture.
04
Franchissez l'anti-bot
Les limites de débit et les contrôles anti-bot de DuckDuckGo sont gérés automatiquement. Rien à résoudre, rien à maintenir.
05
Renvoyez du HTML ou du JSON
Le HTML entièrement rendu revient, ou du JSON typé lorsque vous ajoutez le generic extractor.
05 Cas d'usage
Ce que les équipes construisent sur les données DuckDuckGo.
USE / 01Classements
Suivi de position par mot-clé
Crawlez une URL de résultats par requête et par zone géographique de façon planifiée pour suivre les positions et les changements de classement dans le temps.
USE / 02SERP
Surveillance des SERP
Surveillez les pages de résultats pour repérer les nouveaux entrants, les changements de fonctionnalités et les mouvements sur les requêtes qui vous importent.
USE / 03Recherche SEO
Recherche SEO
Extrayez les titres classés, les snippets et les URL de résultats pour étudier l'intention, les concurrents et les lacunes de contenu.
USE / 04Découverte
Découverte de leads & de liens
Faites remonter les domaines, les profils et les pages classés sur vos termes pour alimenter la prospection et la recherche de liens.
USE / 05Entraînement
Données d'entraînement & RAG
Alimentez les modèles, les pipelines RAG et les agents avec du texte de résultats propre et des URL de résultats via une seule API.
USE / 06Couverture
N'importe quelle URL, une seule API
Crawlez les requêtes, l'endpoint HTML, les verticales et les filtres, ainsi que tout autre site dont vous avez besoin.
06 À noter
Bon à savoir pour scraper DuckDuckGo.
Rendu comme un vrai navigateur
DuckDuckGo charge ses résultats dynamiquement en JavaScript ; la Crawling API exécute un vrai navigateur pour que les résultats organiques s'affichent avant la capture.
HTML par défaut, JSON sur demande
Vous obtenez le HTML entièrement rendu. Ajoutez scraper=generic-extractor pour obtenir un titre, un contenu, des images et des liens parsés, ou parsez le HTML vous-même pour les titres de résultats, les snippets et les URL.
Localisez les résultats par région
Le géociblage choisit la région du proxy, pour que vous puissiez lire les classements tels qu'un chercheur d'un pays donné les verrait.
Atteignez DuckDuckGo depuis n'importe où
La rotation sur 30 régions et 140M d'IP résidentielles garantit un accès constant en volume sans gérer de proxys ni déclencher de limites de débit.
07 Pourquoi Crawlbase
Conçu pour crawler DuckDuckGo à grande échelle.
La Crawling API tourne sur le même réseau qui sert plus de 46,000 clients payants et plus de 70,000 développeurs. Pas de proxys à acheter, pas de navigateurs à faire tourner, rien à corriger quand DuckDuckGo change.
99%
Taux de réussite moyen des requests
140M
IP résidentielles, plus 98M en datacenter
30
Zones géographiques pour des résultats locaux précis
20/s
Requests par seconde par défaut, davantage sur demande
Un seul token, des SDK officiels pour Python, Node et Ruby, et un réseau à 99.99% de disponibilité en dessous.
08 FAQ
Questions sur le scraping de DuckDuckGo.
Envoyez l'URL de résultats DuckDuckGo à la Crawling API de Crawlbase avec votre token. Crawlbase fait tourner un proxy résidentiel, rend la page dans un vrai navigateur, franchit les contrôles anti-bot, et renvoie le HTML entièrement rendu avec les résultats organiques en place. Ajoutez scraper=generic-extractor pour obtenir du JSON structuré à la place.
Oui. Par défaut la Crawling API renvoie du HTML rendu ; ajoutez le generic extractor (scraper=generic-extractor) pour recevoir le titre, les meta, le contenu, les images et les liens en JSON, ou parsez le HTML vous-même pour les titres de résultats, les snippets et les URL.
Oui. DuckDuckGo charge ses résultats dynamiquement en JavaScript. Un vrai navigateur exécute la page, si bien que les résultats organiques s'affichent avant la capture, pas seulement la coquille initiale.
Crawlbase route chaque request via des IP résidentielles en rotation sur 30 zones géographiques et franchit automatiquement les contrôles anti-bot et les limites de débit. Vous ne gérez pas de proxys ni ne résolvez de CAPTCHA, et il n'y a rien à maintenir quand DuckDuckGo change sa configuration.
Oui. Crawlez une URL de résultats par requête et par zone géographique de façon planifiée, puis lisez les titres et les URL de résultats classés depuis le HTML ou le JSON pour suivre les positions dans le temps.
N'importe quelle URL publique de résultats : requêtes standard, l'endpoint HTML, les verticales web et actualités, et les recherches filtrées par région ou par période. La même API fonctionne aussi sur n'importe quel autre site.
Commencez gratuitement avec jusqu'à 10,000 requests et sans carte bancaire. Les offres payantes évoluent avec l'usage, et le même token fonctionne sur la Crawling API et sur chaque scraper Crawlbase.
Commencez à scraper DuckDuckGo.
Suivez les classements sans les blocages.
Gratuit pour commencer avec jusqu'à 10,000 requests. Un seul token pour la Crawling API et chaque scraper.