Desarrollo de una interfaz gráfica en R para la ejecución de métodos de minería de datos sobre plataformas Hadoop para Big Data

Abstract

El análisis de grandes volúmenes de datos representa un gran reto para los científicos de datos, ya sea desde un punto de vista intelectual y uno de recursos. No es sencillo realizar análisis en plataformas de Big Data debido a que los scripts deben seguir un paradigma de programación llamado MapReduce el cual resulta todo un reto hasta para las personas con mucha experiencia en la programación sin contar lo costoso que es implementar toda una infraestructura que de soporte a la cantidad masiva de datos. La intención de este trabajo de grado es la realización de una aplicación que provea una interfaz gráfica para la ejecución de métodos de minería de datos sobre una plataforma Hadoop de una manera remota sin tener que implementar métodos MapReduce ni tener que preparar una infraestructura Hadoop, sólo utilizar una ya preparada previamente. La aplicación fue programada utilizando el lenguaje de programación estadístico R utilizando una gran gama de paquetes para el desarrollo de la interfaz y de los cálculos. La comunicación con la plataforma Hadoop se hace mediante el protocolo SSH (Secure Shell) permitiendo un tráfico de información de manera segura en todo momento. Se realizaron pruebas sencillas que englobaron todas las funcionalidades de la aplicación. Este trabajo dejó como fruto final una interfaz gráfica programada en R capaz de ejecutar métodos de minería de datos de manera local y remota sobre un clúster Hadoop y también la posibilidad de ejecutar funciones Map y Reduce en un clúster Hadoop utilizando la funcionalidad llamada Hadoop Streaming.