Comment exécuter des captures de sites par lots à grande échelle

Quand vous avez besoin de plus d'une capture à la fois

Monitoring d'un catalogue produit, archivage d'un sitemap, vérification de régression visuelle sur des centaines de pages — ces workflows nécessitent tous de capturer des URL en masse. Le faire une requête à la fois est lent et fragile. L'API de captures par lots résout cela en acceptant une liste d'URL et en traitant tout en parallèle.

Comment fonctionnent les captures par lots

1. Téléversez une liste d'URL — CSV ou texte brut, une URL par ligne. Incluez optionnellement des paramètres personnalisés par ligne (pays, viewport, délai).
2. Définissez les options de capture partagées — format de sortie, appareil, blocage des pubs, étapes d'automatisation. Elles s'appliquent à chaque URL sauf si elles sont remplacées par ligne.
3. Soumettez le lot — l'API renvoie immédiatement un identifiant de lot.
4. Suivez la progression — vérifiez /batch/info pour le pourcentage de complétion, les succès/échecs et le temps restant estimé.
5. Téléchargez les résultats — récupérez un ZIP contenant toutes les captures, ou livrez-les directement vers S3, Google Drive ou une autre intégration.

Exemple : capture par lots d'un sitemap

# 1. Extraire les URL du sitemap
curl -s "https://example.com/sitemap.xml" | grep -oP '<loc>\K[^<]+' > urls.txt

# 2. Soumettre le lot
curl -X POST "https://api.screenshotcenter.com/api/batch/create" \
  -H "X-API-KEY: YOUR_API_KEY" \
  -F "urls=@urls.txt" \
  -F "options={"full_page":true,"pdf":false}"

# Réponse : { "id": "batch_abc123", "url_count": 847 }

Paramètres personnalisés par ligne avec CSV

Besoin de réglages différents par URL ? Utilisez un CSV avec des en-têtes de colonnes :

url,country,screen_width
https://example.com/us-pricing,us,1920
https://example.com/de-pricing,de,1920
https://example.com/jp-pricing,jp,1920

Chaque ligne hérite des options partagées du lot, les colonnes CSV remplaçant des paramètres spécifiques.

Livraison vers le stockage cloud

Au lieu de télécharger un ZIP, envoyez les résultats directement vers votre stockage. Ajoutez un paramètre apps à la requête de lot :

{
  "apps": [{
    "app": "s3",
    "bucket": "my-screenshots",
    "path": "batch/{yyyy}/{mm}/{dd}/{domain}/{id}.png"
  }]
}

Le modèle de chemin supporte les variables de date pour organiser les fichiers chronologiquement. Voir sauvegarde visuelle de site pour les patterns de planification.

Gestion des échecs

L'API de lots retente automatiquement les URL en échec (jusqu'à 5 fois avec backoff exponentiel). Le CSV de résultats inclut une colonne de statut pour identifier et resoumettre les URL définitivement en échec.

Limites de volume

L'API de lots accepte jusqu'à 100 000 URL par lot sur les plans Enterprise. Pour les lots récurrents (monitoring quotidien de sitemap, vérifications hebdomadaires de concurrents), automatisez la soumission avec un cron job ou Zapier.