Prototipo para un Archivo de Documentos Digitales provenientes de la Web. Modulo de Control, Almacenamiento Estructurado Spiders y Plataforma Cloud Computing

Abstract

En el presente Trabajo Especial de Grado se expone los detalles del desarrollo de una estructura de control y procesamiento de datos centralizado para el Prototipo para un Archivo de Documentos Digitales provenientes de la Web, proyecto encarado por el Centro de Computación Paralela y Distribuida (CCPD) de la Escuela de Computación, el cual realiza un almacenamiento histórico de un grupo de páginas Web introducidas por el usuario. Para dicho desarrollo, nuestra competencia consiste en la generación de los siguientes componentes: Módulo de control, manejador de tareas en segundo plano, analizador de documentos, almacenamiento estructurado y spider (módulo de procesamiento de URIS), además de toda la estructura lógica para la comunicación entre todos los módulos. El objetivo que persigue el desarrollo de este trabajo es realizar la centralización de carga de tareas en un módulo de control el cual es el encargado de toda la fase de procesamiento, ejecución, verificación y almacenamiento de datos, además de brindar seguridad a los mismos ya que ésta estrategia evita el contacto directo de los datos e instrucciones de procesamiento con el usuario. La funcionalidad en grandes rasgos del desarrollo presentado consiste en generar un ambiente el cual partiendo de un grupo de URIs de entrada, pueda extraer información y documentos de dichas direcciones, y de esta manera almacenar todo su contenido y obtener un compendio de información que caracteriza a estas URIs. Para el desarrollo de este trabajo se planteó el uso de una metodología ágil, debido a tener características que se adaptan a nuestro medio como lo son la programación en pareja, continua colaboración con el cliente y la posibilidad de realizar refactorizaciones, ésta última de gran importancia ya que durante la realización de los módulos se generaron diversos cambios tanto de estructuras como de esquemas hasta llegar a un esquema estable capaz de cumplir con los requerimientos.En consecuencia, se logró el desarrollo de todos los módulos planteados, una conexión estable entre ellos y el almacenamiento tangente de todos los datos necesarios, por lo cual podemos argumentar que los objetivos planteados fueron alcanzados.