Arquitectura medallion en Microsoft Fabric

La arquitectura medallion en Microsoft Fabric organiza un lakehouse en capas Bronze, Silver y Gold. Cada nivel mejora estructura, calidad y utilidad de los datos. El patrón no consiste en copiar tres veces todo sin criterio: separa responsabilidades, facilita reprocesamiento y crea contratos claros entre ingesta, transformación y consumo.

Qué guarda la capa Bronze

Bronze conserva datos recibidos con la mínima transformación necesaria. Su objetivo es trazabilidad: poder reconstruir etapas posteriores sin volver a pedir el origen. Incluye fecha de ingesta, sistema, archivo o partición y, cuando sea posible, identificadores de lote.

No significa aceptar cualquier cosa sin control. Valida que el archivo pueda leerse, registra errores técnicos y protege datos sensibles. Evita corregir silenciosamente valores de negocio en esta capa.

En Fabric puedes crear uno o varios lakehouses en OneLake según límites de seguridad, dominio, entorno y operación. La documentación recomienda el patrón, pero la topología exacta depende de la organización.

Qué ocurre en Silver

Silver estandariza tipos, nombres, zonas horarias y claves; elimina duplicados según reglas explícitas; trata registros inválidos y combina fuentes cuando existe una identidad confiable. Es la capa adecuada para reglas de calidad reutilizables.

Mantén columnas de procedencia y tiempos de procesamiento. Si una fila no supera una regla, envíala a cuarentena con motivo en lugar de descartarla. Publica métricas: filas recibidas, válidas, rechazadas y duplicadas.

Silver debe ser suficientemente estable para alimentar varios productos, pero no tiene que convertirse en un modelo universal que intente resolver todas las necesidades futuras.

Qué ofrece Gold

Gold presenta datos curados para un caso de consumo: modelos dimensionales, agregados, tablas de características o conjuntos orientados a un producto. Aquí se aplican definiciones aprobadas de ingresos, cliente activo o nivel de servicio.

Una capa Gold útil tiene propietario, audiencia, nivel de servicio y pruebas. No es solo una tabla más limpia; es una interfaz de datos con significado de negocio.

Power BI puede consumir la capa curada mediante las opciones de Fabric adecuadas, incluido Direct Lake en escenarios compatibles. Diseña el modelo semántico y las medidas como parte del producto, no como un añadido al final.

Un lakehouse o varios

Tres capas no obligan a tres lakehouses. Un único lakehouse simplifica el inicio, mientras lakehouses separados pueden reforzar permisos, propiedad y ciclos de vida. También puedes separar por dominio o entorno.

Decide según aislamiento, coste de operación, nombres, despliegue y recuperación. Demasiados contenedores crean fricción; muy pocos mezclan responsabilidades y amplían permisos.

Flujo incremental e idempotencia

No recargues todo si el volumen crece. Usa marcas de agua, particiones o Change Data Capture cuando el origen lo permita. Una ejecución idempotente produce el mismo estado al repetir el mismo lote y evita duplicados tras un fallo.

Registra qué versión del código procesó cada lote. Si cambia una regla, define si reprocesarás el histórico o solo datos nuevos. Bronze debe conservar suficiente evidencia para esa decisión.

Formato y particionado

Delta es habitual en lakehouses porque aporta transacciones y administración de tablas sobre archivos. Elige particiones por patrones de lectura y volumen, no por costumbre. Particiones demasiado pequeñas generan muchos archivos y reducen rendimiento.

Compacta archivos cuando corresponda, evita columnas de partición con cardinalidad extrema y mide consultas reales. Un diseño óptimo para una carga diaria puede no servir a eventos continuos.

Calidad y contratos

Define reglas por capa. Bronze verifica llegada e integridad técnica; Silver comprueba esquema, claves, rangos y relaciones; Gold valida métricas y reconciliación con fuentes autorizadas.

Un contrato de datos debe especificar campos, tipos, semántica, frecuencia y política de cambios. Las pruebas automáticas detectan regresiones, pero también necesitas un proceso para comunicar versiones incompatibles.

Seguridad y gobierno

Aplica mínimo privilegio por área de trabajo, lakehouse y elemento. Clasifica información personal, cifra, audita acceso y limita copias. Si Gold oculta columnas sensibles, eso no elimina la obligación de proteger Bronze y Silver.

Define retención por capa. Conservar todos los datos crudos indefinidamente aumenta coste y riesgo. El linaje debe conectar origen, transformaciones y productos para explicar de dónde sale una métrica.

Ejemplo de comercio electrónico

Bronze recibe pedidos JSON, catálogo y devoluciones. Silver normaliza monedas, deduplica eventos por identificador, resuelve productos y registra filas inválidas. Gold crea ventas diarias por canal, margen y cohortes de clientes para Power BI.

Si una regla de devolución cambia, reprocesas desde Bronze hacia Silver y reconstruyes Gold de forma controlada. Cada etapa deja métricas de reconciliación.

Errores habituales

Evita transformar datos críticos solo en notebooks manuales, mezclar pruebas y producción, duplicar lógica de negocio en varios Gold y conceder acceso amplio por comodidad. No llames Silver a una copia sin reglas ni Gold a cualquier agregado.

Otro error es medir éxito por número de capas. La arquitectura funciona cuando reduce tiempo de diagnóstico, permite reproducir datos y entrega productos confiables.

Ruta de implementación

Empieza por un caso concreto. Define fuentes, consumidores, calidad y recuperación; crea Bronze trazable; automatiza Silver con pruebas; publica un Gold con contrato; monitoriza volumen, latencia, coste y errores. Después convierte las decisiones útiles en estándares.

Medallion es un marco de separación progresiva. Su valor no está en los nombres metálicos, sino en hacer explícito qué tan procesado está un dato, quién responde por él y si puede reconstruirse.

Continúa aprendiendo

Amplía este tema con qué es un data lakehouse, Databricks y sus casos de uso, Parquet vs CSV.

Fuentes oficiales y primarias

• Documentación oficial o primaria de learn.microsoft.com
• Documentación oficial o primaria de learn.microsoft.com

Preguntas frecuentes

¿Qué es la arquitectura medallion?
Un patrón que organiza datos en capas Bronze, Silver y Gold con calidad y propósito progresivos.

¿Qué contiene Bronze?
Datos recibidos con mínima transformación, metadatos de ingesta y suficiente trazabilidad para reprocesar.

¿Qué diferencia Silver de Gold?
Silver estandariza y valida datos reutilizables; Gold los modela para productos y métricas de consumo concretos.

¿Necesito tres lakehouses?
No. Las capas pueden compartir o separar lakehouses según seguridad, dominios, operación y despliegue.

¿Qué significa que una carga sea idempotente?
Que repetir el mismo lote produce el mismo estado sin crear duplicados ni efectos adicionales.

¿Cómo se gobierna la arquitectura?
Con mínimo privilegio, clasificación, retención, contratos, linaje, pruebas y propietarios por producto.