How do I scrape Duolingo?

Send the Duolingo URL to the Crawlbase Crawling API with your token. Crawlbase rotates a residential proxy, renders the page in a real browser, clears bot checks, and returns the fully rendered HTML. Add scraper=generic-extractor to get structured JSON instead.

Can I get Duolingo data as JSON?

Yes. By default the Crawling API returns rendered HTML; add the generic extractor (scraper=generic-extractor) to receive title, meta, content, images and links as JSON, or parse the HTML yourself.

Does it render Duolingo's JavaScript app?

Yes. Duolingo is a single-page app, so a real browser executes it and the course trees, lessons, leaderboards and profile data that load through internal APIs are captured, not just the initial shell.

How do I avoid getting blocked scraping Duolingo?

Crawlbase routes each request through rotating residential IPs across 30 geographies and clears bot checks automatically. You do not manage proxies or solve CAPTCHAs, and there is nothing to maintain when Duolingo changes its setup.

Can I scrape Duolingo courses in different languages?

Yes. Pass any course URL (the from and to languages live in the path) and geotarget the request, so you can collect course content and localized strings across language pairs.

Which Duolingo pages can I crawl?

Any public URL: course and unit pages, the course catalog, leaderboards, language landing pages and public profiles. The same API works on any other site too.

How much does it cost?

Start free with up to 20,000 requests and no credit card. Paid plans scale with usage, and the same token works across the Crawling API and every Crawlbase scraper.

Crawling API / Duolingo

Scraper Duolingo.
N'importe quelle page, entièrement rendue.

Envoyez n'importe quelle URL Duolingo et récupérez le HTML entièrement rendu, via des proxies résidentiels avec gestion anti-bot intégrée.
Transformez-le en JSON avec le generic extractor.

Commencer gratuitement Voir en direct

99% de taux de réussite140M IPs résidentielles30 zones géographiques

Flux de crawl en direct · Duolingo1.24M req/minStreaming

404duolingo.com/course/de/en/Learn-GermanIN46ms

200duolingo.com/course/ko/en/Learn-KoreanSG127ms

200duolingo.com/coursesES117ms

200duolingo.com/course/fr/en/Learn-FrenchAU120ms

200duolingo.com/learnES192ms

200duolingo.com/course/es/en/Learn-SpanishFR47ms

200duolingo.com/esDE138ms

200duolingo.com/course/ko/en/Learn-KoreanAU215ms

200duolingo.com/course/de/en/Learn-GermanAU118ms

200duolingo.com/course/es/en/Learn-SpanishUS80ms

200duolingo.com/course/de/en/Learn-GermanGB173ms

200duolingo.com/course/it/en/Learn-ItalianNL177ms

200duolingo.com/course/zh/en/Learn-ChineseDE128ms

200duolingo.com/course/zh/en/Learn-ChineseNL188ms

301duolingo.com/course/it/en/Learn-ItalianBR80ms

200duolingo.com/course/zh/en/Learn-ChineseUS200ms

200duolingo.com/profile/kenji88FR88ms

200duolingo.com/esIN102ms

200duolingo.com/profile/maria_langAU143ms

200duolingo.com/course/fr/en/Learn-FrenchAU108ms

200duolingo.com/course/es/en/Learn-SpanishUS119ms

404duolingo.com/course/fr/en/Learn-FrenchDE71ms

200duolingo.com/course/ko/en/Learn-KoreanBR115ms

200duolingo.com/esIN69ms

200duolingo.com/profile/kenji88ES199ms

200duolingo.com/course/ja/en/Learn-JapaneseAU185ms

404duolingo.com/course/de/en/Learn-GermanIN46ms

200duolingo.com/course/ko/en/Learn-KoreanSG127ms

200duolingo.com/coursesES117ms

200duolingo.com/course/fr/en/Learn-FrenchAU120ms

200duolingo.com/learnES192ms

200duolingo.com/course/es/en/Learn-SpanishFR47ms

200duolingo.com/esDE138ms

200duolingo.com/course/ko/en/Learn-KoreanAU215ms

200duolingo.com/course/de/en/Learn-GermanAU118ms

200duolingo.com/course/es/en/Learn-SpanishUS80ms

200duolingo.com/course/de/en/Learn-GermanGB173ms

200duolingo.com/course/it/en/Learn-ItalianNL177ms

200duolingo.com/course/zh/en/Learn-ChineseDE128ms

200duolingo.com/course/zh/en/Learn-ChineseNL188ms

301duolingo.com/course/it/en/Learn-ItalianBR80ms

200duolingo.com/course/zh/en/Learn-ChineseUS200ms

200duolingo.com/profile/kenji88FR88ms

200duolingo.com/esIN102ms

200duolingo.com/profile/maria_langAU143ms

200duolingo.com/course/fr/en/Learn-FrenchAU108ms

200duolingo.com/course/es/en/Learn-SpanishUS119ms

404duolingo.com/course/fr/en/Learn-FrenchDE71ms

200duolingo.com/course/ko/en/Learn-KoreanBR115ms

200duolingo.com/esIN69ms

200duolingo.com/profile/kenji88ES199ms

200duolingo.com/course/ja/en/Learn-JapaneseAU185ms

01 Démo en direct

N'importe quelle URL Duolingo en entrée. HTML ou JSON en sortie.

La Crawling API, tapée en direct. Récupérez le HTML rendu, ou passez au generic extractor pour du JSON. Survolez pour mettre en pause et lire.

prêt

touches 1-2 pour changer · cliquez pour mettre en pauselancez votre propre URL

Lancez votre premier request en quelques minutes. Jusqu'à 20,000 requests gratuits, sans carte bancaire.Commencer gratuitement

02 Capacités

Une seule API, pour tout ce que Duolingo vous oppose.

Duolingo est une single-page app en JavaScript où les arbres de cours, les classements et les profils sont rendus via des API internes, avec une détection de bots sur les pages de l'app et de profil. La Crawling API la rend dans un vrai navigateur, l'atteint via des IPs résidentielles et vous restitue du HTML ou du JSON propre.

render

Rendu JavaScript complet

Un vrai navigateur exécute la single-page app, si bien que les unités de cours, les leçons, les classements et les données de profil chargées via des API internes sont toutes capturées, pas seulement le shell initial.

proxies

140M IPs résidentielles

Chaque request fait tourner une IP résidentielle sur 30 zones géographiques, pour que vous atteigniez Duolingo comme un vrai apprenant local.

anti-bot

Les blocages gérés pour vous

CAPTCHAs, murs anti-bot et limites de débit sont franchis automatiquement. Rien à résoudre, rien à maintenir.

format

HTML ou JSON

Récupérez le HTML entièrement rendu, ou ajoutez scraper=generic-extractor pour renvoyer titre, contenu, images et liens en JSON structuré.

extras

Captures et asynchrone

Le même appel peut capturer une capture pleine page, ou tourner de façon asynchrone avec des webhooks et du cloud storage.

one token

Une seule API pour chaque site

La Crawling API fonctionne sur n'importe quelle URL, si bien que le même token couvre Duolingo et tout le reste de ce que vous crawlez. Voir la démo en direct.

03 Sortie

HTML rendu, ou JSON propre.

Par défaut, vous récupérez le HTML rendu. Ajoutez le generic-extractor et la même page revient en JSON typé.

{ "title": "Learn Spanish | Duolingo", "favicon": "https://d35aaqx5ub95lt.cloudfront.net/favicon.ico", "meta": { "description": "Learn a language for free with Duolingo.", "keywords": "..." }, "content": "Course units, lessons, leaderboards and profile data...", "canonical": "https://www.duolingo.com/course/es/en/Learn-Spanish", "images": [ "..." ], "og_images": [ "..." ], "links": [ "..." ] }

Page

title · string canonical · string favicon · string

Contenu

content · string

Média

images · array og_images · array

Liens

links · array

04 Comment ça marche

De l'URL aux données en un seul appel.

Chaque request Duolingo suit le même chemin. Vous envoyez une URL, nous opérons tout ce qui se passe entre les deux.

Envoyez l'URL

Passez n'importe quelle URL Duolingo publique avec votre token : un cours, le catalogue, un classement ou un profil public.

Faites tourner un proxy

Une IP résidentielle et une zone géographique qui atteignent Duolingo proprement, tirées de 140M IPs sur 30 régions.

Rendez la page

Un vrai navigateur charge la single-page app pour que les unités de cours, les classements et les données de profil soient rendus avant la capture.

Franchissez l'anti-bot

Les vérifications anti-bot de Duolingo sur les pages de l'app et de profil sont gérées automatiquement. Rien à résoudre, rien à maintenir.

Renvoyez du HTML ou du JSON

Le HTML entièrement rendu revient, ou du JSON typé quand vous ajoutez le generic extractor.

05 Cas d'usage

Ce que les équipes construisent sur les données Duolingo.

USE / 01Cours

Suivi des cours et du contenu

Suivez les unités de cours, les leçons et les changements de catalogue à travers les paires de langues au fil des mises à jour de Duolingo.

USE / 02Langue

Données d'apprentissage des langues

Collectez le contenu des cours, les énoncés d'exercices et les chaînes localisées pour étudier la structure des leçons.

USE / 03Concurrence

Analyse concurrentielle

Comparez la couverture des cours, les fonctionnalités et les classements face à d'autres apps d'apprentissage des langues.

USE / 04Localisation

Recherche en localisation

Comparez le même cours entre les langues source et cible pour éclairer le travail de traduction et de localisation.

USE / 05Entraînement

Données d'entraînement et RAG

Alimentez modèles, pipelines RAG et agents avec du texte Duolingo propre via une seule API.

USE / 06Couverture

N'importe quelle URL, une seule API

Crawlez les cours, le catalogue, les classements et les profils, ainsi que n'importe quel autre site dont vous avez besoin.

06 À savoir

Bon à savoir pour scraper Duolingo.

Rendu comme un vrai navigateur

Duolingo est une single-page app ; la Crawling API exécute un vrai navigateur pour que les arbres de cours, les classements et les données de profil chargent via leurs API internes avant la capture.

HTML par défaut, JSON sur demande

Vous récupérez le HTML entièrement rendu. Ajoutez scraper=generic-extractor pour obtenir titre, contenu, images et liens parsés, ou parsez le HTML vous-même.

Les paires de langues vivent dans le chemin

Une URL de cours porte les langues source et cible, si bien que vous pouvez cibler une paire précise et geotargeter le request pour du contenu localisé.

Atteignez Duolingo depuis n'importe où

Le geotargeting sur 30 régions et 140M IPs résidentielles assure un accès constant sans gérer de proxies.

07 Pourquoi Crawlbase

Conçu pour crawler Duolingo à grande échelle.

La Crawling API tourne sur le même réseau qui sert plus de 46,000 clients payants et plus de 70,000 développeurs. Aucun proxy à acheter, aucun navigateur à faire tourner, rien à corriger quand Duolingo change.

99%

Taux de réussite moyen des requests

140M

IPs résidentielles, plus 98M en datacenter

Zones géographiques pour des résultats locaux précis

20/s

Requests par seconde par défaut, plus sur demande

Un seul token, des SDKs officiels pour Python, Node et Ruby, et un réseau avec 99,99% de disponibilité en dessous.

08 FAQ

Questions sur le scraping de Duolingo.

Envoyez l'URL Duolingo à la Crawling API de Crawlbase avec votre token. Crawlbase fait tourner un proxy résidentiel, rend la page dans un vrai navigateur, franchit les vérifications anti-bot et renvoie le HTML entièrement rendu. Ajoutez scraper=generic-extractor pour obtenir du JSON structuré à la place.

Oui. Par défaut, la Crawling API renvoie du HTML rendu ; ajoutez le generic extractor (scraper=generic-extractor) pour recevoir titre, meta, contenu, images et liens en JSON, ou parsez le HTML vous-même.

Oui. Duolingo est une single-page app, donc un vrai navigateur l'exécute et les arbres de cours, leçons, classements et données de profil qui chargent via des API internes sont capturés, pas seulement le shell initial.

Crawlbase route chaque request via des IPs résidentielles rotatives sur 30 zones géographiques et franchit les vérifications anti-bot automatiquement. Vous ne gérez pas de proxies et ne résolvez pas de CAPTCHAs, et il n'y a rien à maintenir quand Duolingo change sa configuration.

Oui. Passez n'importe quelle URL de cours (les langues source et cible vivent dans le chemin) et geotargetez le request, pour collecter le contenu des cours et les chaînes localisées à travers les paires de langues.

N'importe quelle URL publique : pages de cours et d'unités, catalogue de cours, classements, pages de destination linguistiques et profils publics. La même API fonctionne aussi sur n'importe quel autre site.

Commencez gratuitement avec jusqu'à 20,000 requests et sans carte bancaire. Les plans payants évoluent avec votre usage, et le même token fonctionne sur la Crawling API et sur chaque scraper Crawlbase.

Commencez à scraper Duolingo.
Oubliez les proxies et les blocages.

Gratuit pour démarrer avec jusqu'à 20,000 requests. Un seul token pour la Crawling API et chaque scraper.

Commencer gratuitement Lire la documentation