ECOPER ha incorporado a su área de análisis y evaluación dos nuevos tipos de herramientas de inteligencia artificial para analizar grandes cantidades de datos provenientes de internet (big data). Se trata de herramientas de web crawling y web scraping.
El web crawling o rastreo web es un proceso por el cual un “robot” (en este caso, un algoritmo) llamado crawler navega sistemáticamente a través de internet. El crawler dispone de un conjunto inicial de URLs, conocidas como semillas, y descarga las páginas web asociadas a las semillas para buscar, a su vez, URLs dentro de estas. Estas nuevas URLs se añaden a la lista de enlaces que el rastreador debe visitar, y así sucesivamente hasta llegar al nivel máximo de iteraciones establecido por el programador.
En paralelo, el web scraping o raspado web extrae información relevante de dichas páginas. Ya se ha contado en una entrada anterior que ECOPER cuenta con un diccionario general de la Agenda 2030. El web scraping permitiría, por ejemplo, buscar términos clave de la Agenda en las páginas web recolectadas por el crawler.
