¡Gracias a todos por hacerlo posible!
OMMA 2.1 ya es una realidad. Este post es para todos, pero especialmente para nuestros clientes. Nos lo habéis pedido, os hemos escuchado y ¡aquí está!
Hoy celebramos que ya está lista la nueva versión de OMMA . Hemos conseguido incluir todas (¡o casi!) las peticiones que nuestros clientes nos han ido solicitando. Sin vuestra ayuda OMMA no estaría evolucionando de forma tan impresionante.
Nuevas funcionalidades de OMMA
- Nuevo motor de priorización y pesos de reglas: muchas veces queréis dar más importancia o peso a unas reglas que otras. Por eso mismo, hemos incluido este nuevo motor dentro de la herramienta. Así, los niveles de calidad de vuestros assets de datos estarán ponderados en base a la importancia que vosotros queráis dar.
- Parametrización de reglas y datos: capacidad de variar cierta información de las ejecuciones de calidad de forma programática. Por tanto, hemos incluido un nuevo módulo que os permite parametrizar tanto valores de filtros de datos, parámetros de reglas, etc. Además, pueden sobrescribirse en tiempo de ejecución de las reglas de calidad. Así por ejemplo, si tenéis un filtro de datos, podéis reutilizar vuestras reglas y ejecutarlas en una ventana diaria, semanal, mensual… Sin tener que gestionar nada.
- Clasificación de errores: algo que habéis pedido en más de una ocasión es la capacidad de clasificar o etiquetar los datos que no pasan vuestros controles de calidad. Así si por ejemplo queréis añadir cierta categoría a los datos erróneos de una regla, y otra categoría para los datos de otra. Dicho y hecho! Nuestro nuevo módulo de Category Level Error permite a un usuario crear un conjunto de categorías y asignarlas a la salida de las reglas, de forma que los datos erróneos estén automáticamente categorizados.
- Integración JDBC: hemos extendido todos nuestros conectores JDBC para hacer mucho más fácil la aplicación de reglas de alta complejidad. Ahora podéis conectar directamente con una query a vuestros sistemas como datos de inicio en OMMA. Es decir, ya no es necesario conectar a una tabla, aplicar filtros, enriquecimientos, etc. ¿Tenéis una query que os proporciona ya los datos de trabajo? No hay problema, podéis ejecutar directamente esa query en OMMA como datos de partida, aunque nada os impide enriquecerla, filtrarla, parametrizarla o cualquier otra opción que nuestro entorno NoCode tiene.
- Nueva pantalla de creación de reglas muchísimo más intuitiva y potente: Ahora podéis crear condiciones de ejecución de vuestras reglas con cualquier nivel de complejidad, incluir vuestras propias condiciones custom SQL, podeis trabajar con cualquier preprocesamiento de los datos específicos de una regla: joins, agregados, variaciones temporales…
Gracias por todo vuestro feedback, recomendaciones y peticiones que hacen que OMMA crezca cada día con nuevas funcionalidades.
Y gracias en especial a Cristina, Marc y Rafael. Los encargados de hacerlo posible. El equipo de OMMA está lleno de grandes profesionales.
Y para finalizar, un spoiler de lo que está por venir…
- Ejecución de reglas por columnas, para poder tener en Spark mucho más detalle de traza.
- Nuevo modelo de explotación de datos, como BigQuery.
- Nuevo modelo super potente y rápido de data profiling. Hemos invertido mucho tiempo en hacer un modelo nativo en Spark. El cual permite hacer un profiling exhaustivo pero con un tiempo de latencia mínimo.
- Reglas adaptativas basadas en variaciones de la información de profiling.
- Scanners que analizan una base de datos o datalake, encuentren los assets de datos y generen reglas automáticamente.
- Además, estamos preparando la herramienta para que pueda adaptarse a la nueva norma de calidad UNE081. ¡Queremos que OMMA sea la primera herramienta certificadora en la nueva norma de calidad!
