DiffbotDonnées web et SEOSEO/AEO

Download a crawl job's results as JSON or CSV

diffbot.x.crawl-data

Downloads the extracted results of a crawl job as JSON or CSV, or a diagnostic URL report

Price: Prix à venirAu prix du fournisseur
Success rate: —Aucune donnée de taux de réussite pour le momentLast 30 days · 0 calls
Latency p50: ——
Last verified: —Not verified yet

GEThttps://toolswitch.dev/v1/tools/diffbot.x.crawl-dataPreview

Try onlineBientôtProvider docs ↗

Uses platform quota
Synchronous response
Reads public data

Paramètres

different HOST than base_url — api.diffbot.com

Paramètre	Type	Obligatoire	Description	Exemple
Paramètres de requête
`num`	entier	Facultatif	limit to N most-recently-processed URLs
`name`	chaîne	Obligatoire	which crawl job's data to download	`test-crawl`
`type`	chaîne	Facultatif	'urls' returns a diagnostic URL Report in CSV instead of extraction output
`format`	chaîne	Facultatif	'csv' for CSV (top-level fields only); default json

Paramètres de requête
numentierFacultatif
limit to N most-recently-processed URLs
namechaîneObligatoire
which crawl job's data to download
Exemple : test-crawl
typechaîneFacultatif
'urls' returns a diagnostic URL Report in CSV instead of extraction output
formatchaîneFacultatif
'csv' for CSV (top-level fields only); default json

Exemples de code

Remplacez $TOOLSWITCH_KEY par la clé créée dans la console.

Preview

curl -X GET 'https://toolswitch.dev/v1/tools/diffbot.x.crawl-data' \
  -H "X-Toolswitch-Key: $TOOLSWITCH_KEY"

import os
import requests

response = requests.request(
    "GET",
    "https://toolswitch.dev/v1/tools/diffbot.x.crawl-data",
    headers={"X-Toolswitch-Key": os.environ["TOOLSWITCH_KEY"]},
)
response.raise_for_status()
print(response.text)

const response = await fetch("https://toolswitch.dev/v1/tools/diffbot.x.crawl-data", {
  method: "GET",
  headers: {
    "X-Toolswitch-Key": process.env.TOOLSWITCH_KEY ?? "",
  },
});
if (!response.ok) throw new Error(`Request failed: ${response.status}`);
console.log(await response.text());

Cette API de passerelle est en préversion ; son URL et son authentification peuvent changer. Les paramètres de l’exemple sont des données fictives.