Pautas para escribir web scraper o programas de raspado web

Reglas generales a seguir para escribir web scrapers o programas de raspado web y otros sistemas ETL.

  • Se amable con las fuentes de datos.
  • Hagas lo que hagas, no interrumpas el raspado.
  • Facilita la ejecución de subconjuntos en su canalización.
  • Escribe tu software por etapas.
  • Agarra más de lo que crees que necesitas y luego recorta lo que desees.
  • Desinfecta para mantener la cordura.

Origen: Pautas para escribir web scrapers (en inglés)

🔥 RELACIONADOS

Deja un comentario