Data services informatica

Equipo de servicios de datos

Pero en esta entrada del blog, no quiero discutir las preguntas «¿cuál es la mejor / más potente herramienta ETL?» o «¿por qué el cliente decidió sustituir Informatica PowerCenter?». En su lugar, quiero compartir nuestro enfoque y nuestras experiencias en el proyecto.

En nuestro caso, las especificaciones funcionales no estaban actualizadas o ya no existían. Y la mayoría de los usuarios de negocio que conocían los requisitos en detalle ya se han retirado o tienen nuevos trabajos. Por este motivo, elegimos el enfoque de ingeniería inversa.

El siguiente reto era la complejidad, la importancia y la extensión de los procesos existentes en PwC. Tenían más de 100 procesos ETL (muchos de ellos con una lógica de procesamiento muy compleja) que se ejecutaban de forma totalmente automatizada sobre la base de un marco extremadamente flexible para configurar, programar y supervisar los procesos ETL.

Por si esto no fuera suficiente reto, tuvimos que cambiar adicionalmente a un nuevo servidor de base de datos para el área de preparación, lo que significa que tuvimos que implementar y realizar una migración de datos de unos 500 GB de datos.

Tipos de servicios de datos

Los servicios de datos son útiles cuando las organizaciones utilizan una infraestructura de almacenamiento heterogénea, por ejemplo, cuando utilizan los datos como servicio (DaaS).    En estas situaciones, los datos pueden estar almacenados en muchos lugares y los consumidores de los datos necesitan formas de encontrar y analizar la información que necesitan sin preocuparse por la ubicación específica de esos datos.

Cuando se combinan con la virtualización de datos, los servicios de datos proporcionan una capa de abstracción de los detalles de los datos almacenados. La virtualización de datos proporciona la plataforma de almacenamiento, mientras que los servicios de datos realizan el trabajo programático de recuperar los datos de la plataforma.    Los servicios de datos automatizan el trabajo de localización de datos almacenados de forma heterogénea y proporcionan a los desarrolladores y analistas de datos herramientas programáticas sencillas para encontrar y extraer los datos que necesitan con poco esfuerzo.    En una aplicación, los servicios de datos actúan como un middleware, encontrando y entregando de forma independiente los datos que la aplicación solicita.    Los servicios de datos son esencialmente servicios web para datos.

Los servicios de datos dan a los informáticos más flexibilidad en cuanto a cómo y dónde almacenar los datos. Al facilitar la búsqueda y entrega de datos desde cualquier lugar, el departamento de TI puede elegir un almacenamiento que sea rentable y cómodo de mantener. Por ejemplo, los servicios de datos permiten a las organizaciones almacenar datos en la nube o utilizar una nube híbrida para el almacenamiento de datos. Una vez creados, los servicios de datos son reutilizables, lo que permite a la organización ahorrar mucho tiempo en futuros desarrollos.    Además, como los desarrolladores tienen que realizar menos tareas de programación relacionadas con los datos, las nuevas iniciativas de TI pueden desplegarse rápidamente, lo que hace que la organización sea más ágil.

Servicios de datos: definición

La limpieza y estandarización de datos es un aspecto importante de cualquier proyecto de gestión de datos maestros (MDM). Informatica MDM Multi-Domain Edition (MDE) ofrece un número razonable de funciones de limpieza listas para usar. Sin embargo, existen requisitos cuando las funciones de limpieza OOTB no son suficientes y se necesitan funciones completas para lograr la limpieza y la estandarización de los datos, por ejemplo, la validación de direcciones o la generación de secuencias. Informatica Data Quality (IDQ) ofrece una amplia gama de opciones de limpieza y estandarización. IDQ puede utilizarse fácilmente junto con Informatica MDM.

Esta entrada del blog describe las distintas opciones para integrar Informatica MDM e IDQ, y explica las ventajas y desventajas de cada enfoque para ayudar a decidir el enfoque óptimo en función de los requisitos.

A partir de la versión 10.x de Informatica MDM Multi-Domain Edition (MDE), Informatica ha introducido una nueva función llamada «Informatica Platform Staging» dentro de MDM para integrarse con IDQ (Developer Tool). Esta función permite poner en escena/limpiar directamente los datos utilizando los mapeos de IDQ en las tablas de Stage de MDM, evitando las tablas de Landing.

Departamento de servicios de datos

Integre todos sus datos con Azure Data Factory, un servicio de integración de datos sin servidor y totalmente gestionado. Integre visualmente las fuentes de datos con más de 90 conectores incorporados que no requieren mantenimiento, sin coste adicional. Construya fácilmente procesos ETL y ELT sin código en un entorno intuitivo o escriba su propio código. A continuación, entregue los datos integrados a Azure Synapse Analytics para desbloquear la información empresarial.

Data Factory puede ayudar a los proveedores de software independientes (ISV) a enriquecer sus aplicaciones SaaS con datos híbridos integrados para ofrecer experiencias de usuario basadas en datos. Los conectores preconstruidos y la integración a escala le permiten centrarse en sus usuarios mientras Data Factory se encarga del resto.

El mantenimiento de los pipelines con un panorama de datos que cambia rápidamente puede llevar mucho tiempo e implicar intervenciones manuales. En Azure Data Factory, no sólo puede supervisar visualmente todas sus ejecuciones de actividad, sino que también puede mejorar la productividad operativa configurando alertas de forma proactiva para supervisar sus canalizaciones. Estas alertas pueden aparecer dentro de los grupos de alertas de Azure, lo que garantiza que se le notifique a tiempo para evitar problemas descendentes o ascendentes antes de que se produzcan.