Skip to main content
Featured Video Play Icon

Opinión de Expertos: ¿Cómo se encuentran los sistemas de procesamiento de eventos en realtime? Parte II

1 estrella2 estrellas3 estrellas4 estrellas5 estrellas (Ninguna valoración todavía)
Cargando…

Alberto Rodríguez Berzal, consultor senior Big Data de Gfi España, nos cuenta en qué estado se encuentran los sistemas de procesamiento de eventos en realtime, dónde se encuentran principalmente estos sistemas y cuáles son sus características principales.

¿Y cuáles serían las principales diferencias respecto a modelos de procesamiento de eventos no distribuidos?

Antes de la eclosión que hemos sufrido en la última década de la computación distribuida, los sistemas de procesamiento de eventos que conocíamos recibían el nombre de CEP (Complex Event Processing). Esos productos, que son muy maduros, funcionan muy bien y siguen siendo perfectamente válidos para muchos de los casos de uso a los que nos podemos enfrentar hoy en día.

Como ventajas, ofrecen un altísimo rendimiento, unas complejidades en los casos de uso que nos ofrecen máximas, pero en contraprestación estos productos más clásicos tienen muchas dificultades para escalar porque están enfocados para trabajar únicamente en memoria y esa misma capacidad que tienen para ofrecer un alto rendimiento es un poco la que les limita a la hora de distribuirlo.

Las únicas soluciones que había en su momento para instalar estos productos consistían en segregar los eventos, lo cual limitaba mucho lo que son los casos de uso que podíamos implementar. Incluso hoy en día, lo que están haciendo los fabricantes de soluciones CEP es intentar portar sus productos a entornos distribuidos mediante la aplicación de frameworks de procesamiento de eventos distribuidos.

¿Cuáles son los principales frameworks de procesamiento de eventos distribuidos en realtime?

Tenemos dos claros competidores: Apache Spark Streaming y Apache Flink, en la que Spark Streaming está construido sobre Spark y es un framework de procesamiento de eventos. Probablemente sea el más utilizado actualmente. Lo que ocurre es que Spark surgió en su momento como una alternativa a Hadoop y no se planteó desde el inicio como un framework de procesamiento de eventos distribuidos, sino como un framework distribuido.

Entonces, ¿qué ocurre? Al estar construido sobre Spark funciona sobre microbaches. Estos microbaches lo que hacen es definir una ventana de tiempo, de unos segundos. Lo que va a hacer Spark es procesar todos los eventos que caigan en esa ventana de tiempo. ¿Qué pasa? Que las latencias que vamos a obtener en el procesamiento de nuestros eventos van a estar en función de lo que es ese tamaño de ventana y del momento de microbache en el que van a acaecer los eventos, de manera que van a imponer cierta latencia, lo que puede hacer que para ciertos casos de uso donde retiramos una latencia mínima no sea la mejor solución.

Por otro lado, Apache Flink surgió desde el principio como un framework de procesamiento de eventos en realtime que está orientado a procesamiento de eventos individuales. Esto le permite tener unas latencias a nivel de evento mejores que lo que pueda ser Apache Spark Streaming. No está tan maduro porque es de más reciente creación que Apache Spark Streaming, pero no cabe duda de que tiene un futuro bastante prometedor.

Ambos frameworks asimismo soportan lo que son frameworks de gestión de recursos como YARN y MESOS. Esto lo que hace es todo el tema del escalado, la elasticidad y operaciones relativamente sencillas y casi transparentes. En cualquier caso, lo que sí vamos a ver en los próximos años será que la manera en la que interactuamos con estos frameworks de procesamiento de eventos distribuidos vaya aumentando un poco en complejidad y vaya adquiriendo nuevos niveles de abstracción, que harán que trabajar con ellos sea más sencillo y se asimile a la forma en la que trabajamos con los CEP más clásicos, que llevan más tiempo entre nosotros.

Gfi España

Gfi España

Gfi es una empresa de Consultoría y Servicios Informáticos con más de 2.500 profesionales en España y 14.500 a nivel Internacional.

Gfi España ha escrito 52 entradas


Gfi España

Gfi España

Gfi es una empresa de Consultoría y Servicios Informáticos con más de 2.500 profesionales en España y 14.500 a nivel Internacional.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *