Sistema de extracción masiva de datos para la construcción de una estructura de red social a partir de fuentes de datos basadas en interfaces de programación de aplicaciones (API)

Abstract

Resumen En la actualidad existe un interés creciente en encontrar valor detrás de los millones de datos que generan los usuarios diariamente en internet. Obtener los datos y almacenarlos de manera adecuada se torna como un gran desafío. Si bien las redes sociales pueden ser una mina de oro a la hora de obtener datos para generar información, es un reto extraer datos válidos y confiables. Una interfaz de programación de aplicaciones (API), es una fuente de datos externa a las redes sociales que permite realizar peticiones en nombre del usuario, tales como leer información personal, intereses o contactos. Sin embargo presentan una cantidad de restricciones en cuanto al acceso de los datos, número de consultas a un servicio, cantidad de datos que se descargan por consultas, y largos tiempos de espera para realizar de nuevo las peticiones. Es por ello que los estudios sobre las redes sociales se realizado sobre muestras de los datos ya que no se ha encontrado solución a las limitaciones de los API’s y en algunos casos no se cuenta con la estructura correcta para almacenar grandes volúmenes de datos de este tipo. El objetivo de este trabajo especial de grado es diseñar la pieza que falta, una herramienta que permita extraer los datos de una red social para construir su estructura, a pesar de las limitaciones de las API para posteriormente almacenar estos grandes volúmenes de datos en una base de datos de grafos reduciendo los tiempos de respuesta con el uso de programación paralela y distribuida. Se utilizó la metodología de desarrollo Scrum con algunas variantes y se obtuvo como resultado un grafo social. Palabras clave: Big Data, Grafo social, Redes sociales, Cómputo paralelo, API.