Daum Scraper.
N'importe quelle page, entièrement rendue.
Envoyez n'importe quelle URL Daum et récupérez le HTML entièrement rendu, via des proxies résidentiels basés en Corée avec gestion anti-bot intégrée.
Transformez-le en JSON avec le generic extractor.
N'importe quelle URL Daum en entrée. HTML ou JSON en sortie.
La Crawling API, tapée en direct. Récupérez le HTML rendu, ou passez au generic extractor pour du JSON. Survolez pour mettre en pause et lire.
Une seule API, pour tout ce que Daum vous oppose.
Daum est un portail coréen rendu en JavaScript dont les feeds de news et de recherche se chargent dynamiquement et sont géo-restreints à la Corée. La Crawling API le rend dans un vrai browser, le rejoint via des IPs résidentielles basées en Corée et vous remet du HTML ou du JSON propre.
Rendu JavaScript complet
Un vrai browser exécute la page, si bien que les titres de news, les résultats de recherche et les feeds du portail chargés dynamiquement sont tous capturés, pas seulement le HTML initial.
IPs résidentielles basées en Corée
Daum est géo-restreint à la Corée : chaque requête fait tourner une IP résidentielle basée en Corée, et vous atteignez le portail comme un vrai visiteur local.
Les blocages gérés pour vous
Les CAPTCHAs, murs anti-bot et limites de débit sont levés automatiquement. Rien à résoudre, rien à maintenir.
HTML ou JSON
Récupérez le HTML entièrement rendu, ou ajoutez scraper=generic-extractor pour renvoyer le titre, le contenu, les images et les liens en JSON structuré.
Captures et asynchrone
Le même appel peut capturer une capture pleine page, ou tourner de façon asynchrone avec des webhooks et du cloud storage.
Une seule API pour chaque site
La Crawling API fonctionne sur n'importe quelle URL : le même token couvre donc Daum et tout le reste de ce que vous crawlez. Voir la démo en direct.
HTML rendu, ou JSON propre.
Par défaut, vous obtenez le HTML rendu. Ajoutez le generic-extractor et la même page revient sous forme de JSON typé.
Page
title · string canonical · string favicon · string
Meta
meta.description · string meta.keywords · string
Contenu
content · string
Média
images · array og_images · array
Liens
links · array
De l'URL aux données en un seul appel.
Chaque requête Daum suit le même chemin. Vous envoyez une URL, nous exploitons tout ce qu'il y a entre les deux.
Envoyez l'URL
Passez n'importe quelle URL Daum publique avec votre token : la page d'accueil, un article de news, une page de résultats de recherche ou un cafe.
Faites tourner un proxy
Une IP résidentielle basée en Corée qui atteint Daum proprement, tirée de 140M IPs réparties sur 30 régions.
Rendez la page
Un vrai browser charge la page pour que les titres de news, les résultats de recherche et les feeds du portail soient rendus avant la capture.
Levez l'anti-bot
La géo-restriction, les vérifications anti-bot et les limites de débit de Daum sont gérées automatiquement. Rien à résoudre, rien à maintenir.
Renvoyez du HTML ou du JSON
Le HTML entièrement rendu revient, ou du JSON typé quand vous ajoutez le generic extractor.
Ce que les équipes construisent sur les données Daum.
Étude du marché coréen
Suivez ce qui est tendance sur le portail, les news et les communautés cafe pour lire le marché coréen en temps réel.
Veille de news
Surveillez les titres de news et les pages de recherche Daum pour suivre les sujets, la couverture et le sentiment dès leur apparition.
Localisation et QA
Rendez Daum comme un visiteur basé en Corée pour valider les pages localisées, le contenu régional et le comportement géo-restreint.
Données de portail et de SERP
Collectez les résultats de recherche, les sections et les liens Daum pour évaluer la visibilité et le classement sur le marché coréen.
Feeds finance et sport
Récupérez les pages finance et sport pour les prix, les calendriers et les chiffres qui évoluent au fil de la journée.
N'importe quelle URL, une seule API
Crawlez la page d'accueil, les news, la recherche, le cafe et la finance, ainsi que tout autre site dont vous avez besoin.
Bon à savoir pour scraper Daum.
Rendu comme un vrai browser
Daum est un portail rendu en JavaScript ; la Crawling API exécute un vrai browser pour que les titres de news, les résultats de recherche et les feeds du portail se chargent avant la capture.
Géociblage Corée
Daum est géo-restreint à la Corée. Crawlbase fait tourner des IPs résidentielles basées en Corée pour que le portail se charge proprement, sans que vous ayez à acheter ou gérer des proxies.
HTML par défaut, JSON sur demande
Vous obtenez le HTML entièrement rendu. Ajoutez scraper=generic-extractor pour un titre, un contenu, des images et des liens parsés, ou parsez le HTML vous-même.
Pages publiques uniquement
La Crawling API lit les pages publiquement visibles, sans login, si bien que vous obtenez ce que voit un visiteur déconnecté en Corée.
Conçu pour crawler Daum à grande échelle.
La Crawling API tourne sur le même réseau qui sert plus de 46,000 clients payants et plus de 70,000 développeurs. Pas de proxies à acheter, pas de browsers à faire tourner, rien à patcher quand Daum change.
Un seul token, des SDKs officiels pour Python, Node et Ruby, et un réseau à 99.99% de disponibilité en dessous.
Questions sur le scraping de Daum.
Commencez à scraper Daum.
Atteignez la Corée sans les proxies.
Gratuit pour commencer avec jusqu'à 20,000 requêtes. Un seul token pour la Crawling API et chaque scraper.