Desarrollo de módulos de procesamiento de datos y generación de gráficos de una herramienta web a partir de una vista minable alojada en un clúster Hadoop

Abstract

Resumen En la actualidad las herramientas para el análisis de grandes volúmenes de datos se limita al uso de aplicaciones licenciadas y costosas, sin tener en consideración las prácticas académicas a través de las cuales los futuros profesionales pueden conocer el flujo de trabajo desde la preparación de datos crudos hasta los gráficos generados producto de aplicar algoritmos a los datos "limpios"basándose en el proceso KDD (Knowlegde Discovery in Databases, Descubrimiento de conocimiento en bases de datos, punto que sera tratado en la seccion 3.11.9) de minería de datos. El objetivo del presente trabajo es resolver las carencias de ese conjunto de tecnologías referenciadas anteriormente, a través de una herramienta basada en una interfaz web que permita trabajar conjuntos de datos desde su preparación hasta la visualización de resultados que pueden ser interpretados para la generación de conocimiento. Las herramientas usadas en conjunto para realizar este proyecto fueron la suite de Hadoop, Apache Spark, el framework web Meteor.js, jQueryUI para la realización de una interfaz usable, un servidor TCP/IP de R, Apache Drill y paquetes de Node.js. Palabras clave: Big Data, Apache Spark, Meteor.js, jQueryUI, HDFS, Apache Drill, RStudio, KDD, Hadoop.