Desarrollo de una arquitectura Big data para Registros Mercantiles

Abstract

RESUMEN Debido al gran volumen de datos que comienzan a manejar muchas organizaciones en Venezuela, dichas organizaciones requieren de soluciones tecnológicas distintas al modelo relacional, el cual no está diseñado para manejar tantos datos de forma óptima, por lo que estas empresas comienzan requerir de soluciones Big Data. Entre estas organizaciones encontramos el Servicio Autónomo de Registros y Notarías adscrito al Ministerio Publico, el cual maneja una cantidad considerable de datos transaccionales diariamente en sus oficinas encargadas del Registro Mercantil a nivel nacional .Este Trabajo Especial de Grado tiene como objetivo desarrollar una arquitectura de Big Data para almacenar, visualizar y consultar grandes volúmenes de datos sobre un Sistema de Registro Mercantil, en el que actualmente el modelo relacional no permite realizar adecuadamente operaciones de consulta sobre más de cien millones de registros, en menos de cinco segundos y con una alta variabilidad en las columnas que conforman las tablas del sistema. En este trabajo se utilizó la metodología Attribute Driven Design para diseñar la arquitectura y luego se implementó cada uno de los componentes de la misma con herramientas de software libre, entre las cuales podemos mencionar Apache Cassandra como base de datos transaccional, Apache Hadoop como estacionamiento, Apache Hive como motor de consultas, Apache Solr como herramienta de inteligencia de negocios y HUE como herramienta de administración y visualización de reportes y datos.Para lograr éste objetivo fue necesario analizar, estudiar y comparar