¿Qué es la gobernanza de datos?

Según Gartner, hasta 2025, el 80 % de las organizaciones que busquen escalar su negocio digital fracasarán por no adoptar un enfoque moderno de gobernanza de datos y análisis. No es de extrañar que los directores de datos identifiquen la gobernanza de datos como una de las principales prioridades de sus iniciativas de datos. En una encuesta de 2023 a 350 directores de datos y puestos equivalentes, MIT CDOIQ descubrió que el 45 % de los directores de datos identifican la gobernanza de los datos como una de sus prioridades más importantes. Estos líderes de datos buscan implementar un modelo de gobernanza que les permita poner los datos a disposición de las personas y las aplicaciones adecuadas cuando los necesiten, a la vez que se mantengan seguros y protegidos, con los controles adecuados. 

Históricamente, la gobernanza se ha empleado para bloquear los datos en silos, con el objetivo de evitar filtraciones o el uso indebido. Sin embargo, la consecuencia de los silos de datos es que los usuarios legítimos tienen que sortear las barreras para acceder a los datos cuando los necesitan. Sin darse cuenta, la innovación basada en datos se ve entorpecida.

Tiene dos palancas para hacer de la gobernanza un facilitador de la innovación: acceso y control. La clave del éxito es encontrar el equilibrio adecuado entre acceso y control, y el punto de equilibrio es diferente para cada organización. Cuando se ejerce un control excesivo, los datos quedan bloqueados en silos y los usuarios no pueden acceder a los datos cuando los necesitan. Esto no solo frena la creatividad, sino que también conduce a la creación de sistemas de TI en la sombra, que dejan los datos desactualizados y desprotegidos. Por otro lado, cuando se proporciona demasiado acceso, los datos terminan en aplicaciones y almacenes de datos, lo que aumenta el riesgo de fuga de datos.

Establecer la gobernanza correcta, aquella que equilibre acceso y control, brinda a las personas confianza en los datos al promover la detección, conservación, protección e intercambio adecuados de los datos. Esto fomenta la innovación y, al mismo tiempo, protege los datos.

La gobernanza del ML aplica muchas de las mismas prácticas de gobernanza de datos al ML. La calidad y la integración de los datos deben proporcionar los datos necesarios para el entrenamiento de modelos y la implementación en producción (los almacenes de características son un aspecto importante de esto). La inteligencia artificial (IA) responsable presta especial atención al uso de datos confidenciales para crear modelos. Las capacidades adicionales de gobernanza del ML incluyen permitir que las personas participen en la creación, la implementación y la supervisión de los modelos; documentar el entrenamiento, el control de versiones, los casos de uso admitidos y guiar el uso ético del modelo; y supervisar el modelo en producción para verificar su precisión, desviación, sobreajuste y ajuste insuficiente.

La IA generativa requiere capacidades de gobernanza de datos adicionales, como la calidad y la integridad de los datos, para respaldar la adaptación de los modelos básicos para el entrenamiento y la inferencia, la gobernanza de la toxicidad y el sesgo de la IA generativa y las operaciones del modelo de base (FM): las FMOps.

Puede respaldar la IA y el ML con el mismo programa de gobernanza de datos. La preparación de datos es necesaria para transformarlos en un formato que los modelos de IA y ML puedan usar para la inferencia de entrenamiento y producción, pero la preparación de datos más eficaz es la que no tiene que hacer usted. Los científicos de datos dedican demasiado tiempo a preparar los datos para cada caso de uso; su equipo de gobernanza de datos puede ayudarlo a aliviar este trabajo pesado e indiferenciado. Además, la gobernanza de datos puede supervisar la creación de almacenes de características configurados que se utilizarán en los casos de uso de IA y ML.

Por último, los datos confidenciales deben protegerse adecuadamente, de modo que su equipo pueda mitigar los riesgos de que se utilicen datos confidenciales para entrenar los modelos de base.

Al igual que ocurre con los análisis en general, hay que regular el uso de los modelos de IA y ML que se crean o personalizan. Idealmente, esto debería estar estrechamente asociado con la gobernanza de análisis, porque esa función sabrá cómo apoyar a varias áreas de negocio.

Un programa de gobernanza de datos debe equilibrar la centralización y descentralización (incluido el autoservicio). En toda la organización, dispondrá de una combinación de gobernanza centralizada, federada y descentralizada, en función de los requisitos empresariales. Debe dar libertad a los equipos de dominios en la medida de lo posible y, al mismo tiempo, mantener la coherencia entre los dominios (por ejemplo, la capacidad de vincular los datos).  

• Gobernanza de datos centralizada: las organizaciones centrales son en última instancia responsables de las declaraciones de misión, las políticas, la elección de herramientas y más. Las acciones del día a día muchas veces se transfieren a las líneas de negocio (LOB).
• Gobernanza de datos federada: esta permite que las unidades empresariales individuales o las iniciativas empresariales operen de la manera que mejor se adapte a sus necesidades. Con la gobernanza de datos federada, todavía hay un equipo centralizado más pequeño que dedica su trabajo a resolver los problemas que se repiten con más frecuencia, incluidas las herramientas de calidad de datos para toda la empresa, por ejemplo.
• Gobernanza de datos descentralizada o de autoservicio: cada LOB hace lo que necesita para su proyecto específico. Cada proyecto utiliza cualquier herramienta o proceso de otros proyectos que se ajuste a sus necesidades. A medida que aumentan en popularidad temas como la malla de datos (en sí misma descentralizada), también lo hace la gobernanza de datos de autoservicio. 

La clave para un programa de gobernanza de datos eficaz es vincularlo a las iniciativas empresariales ya financiadas. Asegúrese de que su equipo comprenda qué dominios, orígenes y elementos de datos son necesarios para respaldar esas iniciativas.

• Cree una hoja de ruta de gobernanza de datos que muestre el respaldo a iniciativas empresariales específicas. A continuación, comience a identificar la superposición de datos entre las iniciativas empresariales elegidas.
• Identifique los casos de uso de las aplicaciones y la inteligencia empresarial que los datos necesitan respaldar y alimentar, como los requisitos de antigüedad y privacidad.
• Comprenda cómo son los datos adecuados para cada iniciativa empresarial elegida.
• Mantenga y amplíe el programa de gobernanza de datos integrándolo en el modelo operativo empresarial, de modo que la planificación e implementación de datos se convierta en una parte natural del funcionamiento de la organización.
• Organice la comunidad de análisis para lograr el autoservicio y la coherencia.
• Use la inteligencia artificial (IA) y el machine learning (ML) con la gobernanza de datos y la gobernanza de ML. Utilice el mismo programa de gobernanza de datos, pero incorpore también almacenes de características y modelos de ML.

Con la gobernanza de datos integral en AWS, las organizaciones tienen el control sobre dónde se encuentran sus datos, quién tiene acceso a ellos y qué se puede hacer con ellos en cada paso del flujo de trabajo de datos. La gobernanza de datos con AWS ayuda a las organizaciones a acelerar las decisiones basadas en los datos, ya que facilita que las personas y las aplicaciones adecuadas encuentren los datos correctos, accedan a ellos y los compartan de forma segura y cuando necesiten hacerlo. Puede seleccionar los datos automatizando su integración y calidad para limitar su proliferación. Puede descubrir y comprender sus datos con catálogos centralizados que impulsan la alfabetización de datos. Puede proteger sus datos con permisos precisos que le permiten compartir datos con confianza. Puede reducir el riesgo y mejorar el cumplimiento normativo mediante la supervisión y la auditoría del acceso a los datos.

• Amazon DataZone: libere los datos más allá de los límites de su empresa con la gobernanza integrada.
• AWS Glue: descubra, prepare e integre todos los datos a cualquier escala.
• AWS Lake Formation: cree, administre y proteja lagos de datos en cuestión de días.
• Inteligencia empresarial unificada de Amazon QuickSight a hiperescala.
• Amazon SageMaker: cree, entrene e implemente modelos de machine learning para cualquier caso de uso con infraestructura, herramientas y flujos de trabajo completamente administrados.
• Página web de gobernanza del ML.
• Amazon Bedrock: cree y escale las aplicaciones de IA generativa con modelos de base (FM).
• Amazon Macie: descubra y proteja datos confidenciales a escala.
• Puntos de acceso de Amazon Simple Storage Service (Amazon S3): almacenamiento de objetos creado para recuperar cualquier volumen de datos desde cualquier ubicación.
• AWS Data Exchange: busque los datos de terceros en la nube, suscríbase a ellos y utilícelos con facilidad.
• AWS Clean Rooms: cree salas limpias en cuestión de minutos para colaborar con sus socios sin compartir datos sin procesar.

Para comenzar a utilizar la gobernanza de datos en AWS, cree una cuenta gratuita hoy mismo.