IronWebScraper y JavaScript: Guía para desarrolladores
IronWebScraper no procesa JavaScript.
IronWebScraper es ideal para grandes portales basados en contenido estructurado y sitios web HTML estándar con los métodos de análisis implementados.
Procesa HTML tal como está escrito.
Raspar sin un modelo de navegador completo, como Chrome detrás de él, es miles de veces más rápido.
Como regla, cualquier sitio web basado en estándares con Ajax debería tener una página alternativa sin Ajax para todo su contenido, y idealmente este es el sitio que debería ser rasgado.
Contexto regulatorio en España: portales JavaScript-intensivos
En España, varios portales regulatorios de uso frecuente emplean JavaScript de forma intensiva para presentar sus datos públicos, lo que tiene implicaciones directas para las estrategias de rastreo con IronWebScraper.
BOE (Boletín Oficial del Estado)
El BOE es el recurso primario de publicaciones normativas en España. Su buscador avanzado renderiza resultados dinámicamente mediante JavaScript, pero dispone de URLs de página estática y de una API REST pública (https://boe.es/datosabiertos/api/) que retorna JSON estructurado. En consecuencia, IronWebScraper puede utilizarse directamente contra los endpoints estáticos y la API REST del BOE para la monitorización automatizada de actualizaciones regulatorias — por ejemplo, publicaciones de la AEAT sobre VeriFactu, modificaciones del reglamento LOPDGDD o nuevas guías de la AEPD — sin necesidad de un motor de renderizado JavaScript.
// Ejemplo: rastreo de publicaciones del BOE mediante endpoint estático
scraper.AddStartUrl("https://www.boe.es/buscar/act.php?id=BOE-A-2018-16673", "boe_lopdgdd");// Ejemplo: rastreo de publicaciones del BOE mediante endpoint estático
scraper.AddStartUrl("https://www.boe.es/buscar/act.php?id=BOE-A-2018-16673", "boe_lopdgdd");' Ejemplo: rastreo de publicaciones del BOE mediante endpoint estático
scraper.AddStartUrl("https://www.boe.es/buscar/act.php?id=BOE-A-2018-16673", "boe_lopdgdd")AEAT sede electrónica
La sede electrónica de la AEAT (sede.agenciatributaria.gob.es) mezcla contenido estático con módulos JavaScript pesados para formularios de declaración. Sin embargo, las páginas de consulta de tipos de IVA, calendarios fiscales y esquemas Facturae disponen de versiones HTML estáticas accesibles. IronWebScraper permite extraer esta información sin renderizado JavaScript para mantener actualizados los pipelines de cumplimiento fiscal.
CNMV — Comisión Nacional del Mercado de Valores
El portal de la CNMV ofrece registros de divulgación de empresas cotizadas con un buscador que depende de JavaScript para el filtrado en tiempo real. No obstante, las páginas de detalle individuales de cada comunicado son HTML estático con URLs canónicas persistentes. La recomendación es identificar las URLs de páginas de detalle (a menudo paginadas mediante parámetros GET) y raspar directamente dichas páginas con IronWebScraper, evitando la capa JavaScript del buscador.
Banco de España
El portal estadístico del Banco de España publica informes de estabilidad financiera, tipos de interés y estadísticas macroprudenciales en páginas HTML mayoritariamente estáticas. IronWebScraper resulta adecuado para la extracción periódica de datos de interés público de este portal, sin activar obligaciones LOPDGDD dado que los datos extraídos no contienen información personal.
Consideraciones LOPDGDD y AEPD al raspar sitios españoles
Cuando IronWebScraper se utiliza para extraer datos de sitios web españoles, deben tenerse en cuenta las siguientes obligaciones derivadas de la LOPDGDD y las directrices de la AEPD:
- Minimización de datos: si el rastreo detecta accidentalmente datos personales (nombres, NIFs, correos electrónicos), deben aplicarse filtros de exclusión o seudonimización conforme al artículo 5.1.c del RGPD/LOPDGDD.
- Limitación del plazo de conservación: los datos extraídos deben eliminarse cuando dejen de ser necesarios para la finalidad declarada del rastreo.
- Robots.txt y términos de uso: la AEPD ha publicado criterios sobre el rastreo automatizado (robótica de rastreo) que exigen respetar el fichero
robots.txty los términos de servicio del portal. - Datos de carácter público: los datos disponibles en el BOE, AEAT y CNMV tienen carácter público e interés general; su extracción con fines de cumplimiento normativo generalmente no activa las obligaciones más restrictivas de la LOPDGDD.
Alternativa para portales con JavaScript obligatorio
Cuando un portal regulatorio español no ofrece alternativa HTML estática — por ejemplo, determinados formularios del Registro Mercantil o portales autonómicos con renderizado Angular/React — la combinación de IronWebScraper con un navegador controlado (como Selenium o Playwright) permite pre-renderizar la página y volcar el HTML resultante, que luego IronWebScraper procesa con sus métodos de análisis habituales.
// Patrón: volcar HTML renderizado por JavaScript y pasarlo a IronWebScraper
string renderedHtml = await playwrightPage.ContentAsync();
// Pasar renderedHtml al parser de IronWebScraper para extraer datos estructurados// Patrón: volcar HTML renderizado por JavaScript y pasarlo a IronWebScraper
string renderedHtml = await playwrightPage.ContentAsync();
// Pasar renderedHtml al parser de IronWebScraper para extraer datos estructuradosnetEste enfoque preserva las ventajas de rendimiento de IronWebScraper para el análisis de HTML a gran escala — por ejemplo, monitorización masiva de comunicados CNMV o seguimiento de publicaciones BOE — mientras delega únicamente la ejecución JavaScript al navegador controlado.
Preguntas Frecuentes
¿Puede IronWebScraper raspar la sede electrónica de la AEAT?
Sí, para las páginas HTML estáticas de la AEAT (tipos de IVA, calendarios fiscales, esquemas Facturae). Las páginas con formularios interactivos que requieren JavaScript pueden pre-renderizarse con un navegador controlado y pasar el HTML resultante a IronWebScraper.
¿Qué obligaciones LOPDGDD aplican al rastrear sitios españoles con IronWebScraper?
Según la LOPDGDD y las directrices de la AEPD, el rastreo automatizado debe respetar el robots.txt, aplicar minimización de datos si se capturan datos personales (NIFs, correos), y establecer plazos de conservación limitados. Los datos públicos del BOE, AEAT y CNMV con fines de cumplimiento normativo generalmente no activan las restricciones más severas.
¿Cómo monitorizar publicaciones del BOE con IronWebScraper?
El BOE dispone de una API REST pública (boe.es/datosabiertos/api/) y páginas HTML estáticas. IronWebScraper puede consultar directamente estos endpoints para monitorizar actualizaciones regulatorias como publicaciones VeriFactu, LOPDGDD o guías de la AEPD.
¿Puede IronWebScraper extraer comunicados de la CNMV?
Sí. Aunque el buscador de la CNMV usa JavaScript para el filtrado en tiempo real, las páginas de detalle de cada comunicado son HTML estático con URLs canónicas permanentes que IronWebScraper puede raspar directamente.
¿Aún desplazándote?
¿Quieres una prueba rápida? PM > Install-Package IronWebScraper
ejecuta una muestra observa cómo tu sitio de destino se convierte en datos estructurados.
Comience gratis
Comience gratis
Reserve demostración en vivo gratis
No se requiere tarjeta de crédito ni creación de cuenta
