개요
메달리온 아키텍처는 데이터를 세 개의 점진적 레이어로 분리하는 데이터 설계 패턴입니다: 원시 입력을 위한 청동, 정제되고 완성된 모델을 위한 은, 비즈니스 준비 완료 전달을 위한 금입니다. 각 홉마다 품질과 구조가 향상되므로, 하위 쿼리는 원시 소스를 직접 읽지 않습니다. 분석과 AI는 신뢰할 수 있고 읽기 최적화된 테이블을 소모하면서도, 원시 기록은 감사나 파이프라인 재생을 위해 그대로 유지됩니다.
Medallion 아키텍처와 아래의 계층형 데이터 웨어하우스 섹션은 계층을 고전적 웨어하우스 계층에 매핑합니다. 메달리온 설계는 데이터가 어디에 저장되는지가 아니라 어떻게 정제되는지를 정의합니다. 레이어는 물리적 저장 배열이 아니라 논리적 체크포인트이므로 lakehouse, 클래식 웨어하우스, 혹은 둘의 혼합형에 적용됩니다.
주요 요점
- 각 층에는 뚜렷한 목적, 소유자, 그리고 품질 보증이 필요합니다
- 이 패턴은 고전적인 엔터프라이즈 데이터 웨어하우스의 스테이징, 통합, 프레젠테이션 개념을 차용하며 공급업체 중립성을 유지하고 있습니다
- 대가로 인해 저장 공간 사용량이 중복되고, 파이프라인 지연 시간, 스코프 드리프트가 발생하며, 이는 아키텍트가 고정된 3홉 모델을 현실에 맞게 조정하도록 유도합니다
멀티홉 패턴으로서의 메달리온 아키텍처
메달리온 아키텍처는 데이터가 한 층에서 다음 층으로 이동하기 때문에 '멀티홉'이라고도 불립니다. 보통 레이크하우스에서 실행됩니다. 각 홉은 정의된 변환과 검사 세트를 적용합니다.
청동, 은, 금색 층
브론즈 레이어: 도착 시 원본 데이터를 제공합니다
브론즈 레이어는 소스 시스템에서 들어온 데이터를 그대로 정확히 흡수합니다. 여기에는 데이터베이스 추출, 변경 데이터 캡처(CDC) 피드, 애플리케이션 로그, 평면 JSON/CSV 파일, 또는 원시 이벤트 스트림이 포함됩니다. 레코드는 원래 스키마를 유지하며, 타임스탬프, 소스 출처, 프로세스 ID 같은 로드 메타데이터만으로 보완됩니다. 브론즈는 보통 추가 전용이기 때문에 도착한 감사 이력을 보존하여 팀이 소스 시스템을 다시 읽지 않고도 손상된 하위 테이블을 삭제하고 다시 구축할 수 있게 합니다.
실버 레이어: 세척, 순결 및 검증 완료
메달리온 아키텍처의 실버 레이어는 원시 기록을 신뢰할 수 있고 일치된 데이터로 강제합니다. 이 경계의 파이프라인은 하드 스키마를 강제하고, 중복을 삭제하며, 널을 처리하고, 코드와 단위를 표준화하며, 서로 다른 소스 레코드를 고객, 제품, 계정 등 공유 엔터프라이즈 엔티티에 매핑합니다. 실버 테이블은 집계 단위로 통합되지 않고 세분화된 세부 수준에 머물기 때문에, 유연하고 검증된 세부 정보가 필요한 데이터 엔지니어, 데이터 과학자, 분석가의 주요 작업 공간이 됩니다.
골드 레이어: 비즈니스 준비 데이터
골드 레이어는 BI용 차원별 스키마, 경영진 대시보드용 사전 집계 지표, 머신러닝 모델용 밀도 높은 기능 테이블, AI 애플리케이션용 큐레이션 데이터셋 등 다양한 소비 패턴에 맞는 은색 데이터를 큐레이션합니다. 골드 테이블은 인식된 수익에 대한 정확한 계산과 같은 엔터프라이즈 비즈니스 규칙을 수정합니다. 또한 읽기 성능을 최적화하여 저장소를 교환하여 런타임 조인을 줄이고 예측 가능한 동시성 시간을 제공합니다.
| 치수 | 청동 | 은색 | 금 |
|---|---|---|---|
| 목적 | 원본 데이터를 토착시키고 보존하세요 | 클린, 순응, 통합 | 특정 비즈니스 용도에 서비스 |
| 데이터 상태 | 원본, 전달된 그대로, 보통 덧붙이기만 하는 것 | 검증, 중복 제거, 상세 처리 | 집계, 모델링, 큐레이션 |
| 전형적인 모델 | 소스 구조와 로드 메타데이터 | 정규화 또는 데이터 볼트 스타일 | 차원(스타 스키마), 특징 테이블 |
| 주요 사용자 | 데이터 엔지니어 | 데이터 엔지니어, 데이터 사이언티스트, 분석가 | 비즈니스 분석가, BI 도구, ML 및 AI 애플리케이션 |
| 허용오차 변경 | 소스 변경 사항 흡수 | 소스 및 엔티티 변경에 따라 진화 | 버전 변경 사항이 포함된 안정적인 정의 |
다음은 메달리온 아키텍처 예시입니다. 소매업체는 각 시스템이 보내는 대로 판매 시점 거래와 웹 주문을 정확히 청동으로 표시합니다. 실버에서는 두 피드가 중복 제거되고 제품 코드가 표준화되며 각 주문이 하나의 고객 기록에 연결됩니다. 골드 모델은 매장과 제품별 일일 판매 테이블과 수요 예측 모델을 위한 고객 기능 테이블이 됩니다.
메달리온 아키텍처를 통해 데이터가 이동하는 방식
레이어 간 파이프라인은 두 가지 역할을 합니다. 이들은 데이터를 변환하고, 데이터가 다음 단계로 이동할 적합한지 여부를 결정합니다. 체크 내용은 레이어 간 품질 게이트에서 설명됩니다.
ETL인가요, 아니면 ELT?
메달리온 아키텍처는 전통적인 추출, 변환, 로드 (ETL) 방식이 아니라 추출, 로드, 변환(ELT) 방식을 따릅니다. 시스템은 원본 스트림을 먼저 브론즈에 덤프한 뒤, 플랫폼 내에서 무거운 변환을 본격적으로 실행해 레코드를 은과 금으로 밀어 넣습니다. 하지만 여러 은 테이블에서 복잡한 금 집합체를 조립하는 것과 같은 특정 홉은 여전히 강력한 ETL 스타일 처리에 의존할 수 있습니다.
배치 및 스트리밍 파이프라인
아키텍처는 야간 배치를 요구하지 않습니다. 스트리밍 데이터를 사용하면 이벤트가 지속적으로 브론즈로 표시되고, 증분 파이프라인이 새로운 레코드를 은색과 금색으로 전달합니다. 현대적인 오픈 테이블 포맷은 정확한 커밋 이력을 추적함으로써 다운스트림 작업이 전체 테이블을 다시 스캔하지 않고 델타만 가져갈 수 있도록 합니다. 운영 환경에서는 팀이 두 실행 모드를 일상적으로 혼합하여 운영 BI에 전달하는 경로를 스트리밍하고, 무거운 과거 작업을 배치합니다.
메달리온 아키텍처와 계층화된 데이터 웨어하우스
메달리온이라는 이름이 널리 알려지기 훨씬 전부터 엔터프라이즈 데이터 웨어하우스 설계자들은 환경을 데이터 마트의 스테이징 영역, 통합 코어, 프레젠테이션 계층으로 나누었습니다. 스테이징은 소스 추출물을 흡수했고, 통합은 이를 고정된 엔터프라이즈 모델로 구성했으며, 마트는 특정 부서를 위해 사용되었습니다. 메달리온 아키텍처는 그 고전적 학문 분야에 대응할 수 있습니다:
| 메달리온 레이어 | 전통적인 창고 레이어 | 전형적인 데이터 모델링 접근법 |
|---|---|---|
| 청동 | 집결 구역 / 착륙 지점 | 소스 모양의 테이블로, 오래된 설계에서는 잠시 동안만 사용되는 경우가 많았다 |
| 은색 | 통합 계층, 운영 데이터 저장소, 엔터프라이즈 데이터 웨어하우스 코어 | 이력과 감사 용이성을 위한 세 번째 정규형 또는 데이터 볼트 |
| 금 | 프레젠테이션 레이어, 데이터 마트, 시맨틱 레이어 | 차원 모델(별 스키마) 및 집합체 |
변화는 저장 경제성과 오픈 테이블 아키텍처에 있습니다. 전통적인 웨어하우스는 디스크 비용을 피하기 위해 로드 후 스테이징 존을 자주 정리했습니다. 저렴한 객체 스토리지 덕분에 완전한 원시 기록을 유지하는 것이 경제적으로 가능해졌습니다. Apache Iceberg와 Delta Lake와 같은 오픈 테이블 포맷 은 데이터 레이크든 데이터 웨어하우스에 있든 그 스토리지에 신뢰할 수 있는 데이터베이스 스타일의 트랜잭션 지원을 제공합니다. 베테랑 엔터프라이즈 데이터 웨어하우스 팀에게 가장 큰 차이는 수명이 더 긴 원시 레이어를 제공한다는 점이지만, 기본 데이터 모델링 패러다임은 변하지 않습니다.
계층 간 데이터 품질 및 거버넌스
이 패턴은 파이프라인 모델이자, 거버넌스 모델이기도 합니다. 각 계층 경계는 데이터 상태를 측정하고, 실행 계보를 기록하며, 접근 제어를 적용할 수 있는 체크포인트를 제공합니다. 패턴은 벤더 중립적이며 널리 공유되는 용어로 사용되기 때문에, 그 계층 경계는 팀이 이러한 컨트롤을 적용할 표준적인 위치를 제공합니다.
레이어 간 품질 게이트
운영 환경은 데이터 품질 검사를 전환 경계에 직접 고정하여 데이터가 하류로 이동함에 따라 규칙 세트를 강화합니다.
- 브론즈와 은색 사이에서는: 게이트는 스키마 및 유형 검증, 필수 필드, 중복 탐지, 참조 데이터에 대한 참조 검사, 실패한 기록에 대한 격리 기능을 포함합니다.
- 은과 금 사이: 게이트에는 비즈니스 규칙 점검, 총계를 출처 시스템과의 대조, 신선도 목표, 그리고 지표 정의에 대한 테스트가 포함됩니다.
- Gold에 대해: 모니터링은 볼륨 감소, 비정상적인 값, 대시보드, 모델, 또는 AI 애플리케이션을 망가뜨릴 수 있는 스키마 변경을 다룹니다.
계보, 접근 및 소유권
모든 데이터셋이 명확하게 정의된 계층을 차지하기 때문에, 데이터 계보는 은(silver) 논리를 통해 의심스러운 골드 지표를 문제 브론즈 소스 레코드로 추적하여 근본 원인 분석을 압축합니다. 접근 통제는 자연스럽게 상류 단계에서 엄격해집니다. 브론즈는 종종 핵심 엔지니어에게만 PII와 원시 데이터를 저장하는 반면, 마스크 처리된 골드 테이블은 비즈니스에 널리 노출됩니다. 명확한 계층 소유권을 할당하면 운영 데이터 거버넌스가 강화되어, 잘 문서화된 골드 테이블을 개 방적이고 연결된 데이터 기반 전반에 걸쳐 정의된 의미론과 서비스 수준을 갖춘 재사용 가능한 데이터 제품으로 전환합니다.
메달리온 아키텍처의 트레이드오프와 대안
건축가는 다음과 같은 비용과 상충 요소를 계획해야 합니다:
- 각 레이어는 데이터의 다른 버전을 저장하므로 더 많은 복사본과 저장 공간이 됩니다; 전체 청동 역사를 유지하면 대량 소스가 쌓이게 됩니다
- 각 홉은 처리 시간과 지연 시간을 증가시키므로, 배치 전용 설계는 운영 환경에는 너무 느릴 수 있습니다
- 팀이 브론즈를 마치 깨끗한 것처럼 조회할 때 레이어가 흐트러지거나, 비즈니스 로직을 은색에 쌓아 문서에 없는 굵은 레이어가 될 수 있습니다
- 여러 레이어에서 동시에 읽는 파이프라인이 레이어들을 얽히게 하여 계보를 따라가기 어렵고 변화가 위험해집니다
레이어를 추가하거나 제거할 때
세 레이어는 규칙이 아니라 관례입니다. 작은 플랫폼은 때때로 은과 금을 합치거나, 값없이 다시 추출할 수 있는 소스를 위해 지속적인 브론즈 레이어를 건너뛰기도 합니다. 더 큰 플랫폼은 아직 등록되지 않은 파일을 위한 브론즈 앞에 착륙 구역을 두거나, 일부 실무자들이 저지연 운영 분석과 프리미엄 데이터 제품을 위해 제안하는 네 번째 '플래티넘' 레이어 같은 레이어를 추가합니다. 테스트는 어느 쪽이든 동일합니다. 각 레이어는 고유한 목적, 소유자, 품질 보증을 가져야 합니다.
데이터 메쉬 내 메달리온 레이어
데이터 메쉬에서는 각 비즈니스 도메인이 자체 메달리온 레이어를 운영하고 골드 테이블을 데이터 제품으로 공개할 수 있습니다. 소비 도메인은 원본 소스를 다시 복사하지 않고 다른 도메인의 골드 출력을 자체 브론즈 입력으로 처리할 수 있습니다. 이 연합 방식은 팀 간 확장 가능하지만, 도메인 드리프트를 방지하기 위해 형식, 품질 지표, 명명에 대한 공통 표준이 필요합니다.
개방적이고 연결된 데이터 기반 위에 메달리온 레이어
메달리온 아키텍처는 모든 데이터셋에 명확한 위치와 명확한 목적을 부여합니다. 청동은 원초적인 역사를 보존합니다. 은은 그것을 깔끔하고 일관된 세부 사항으로 바꿉니다. 그리고 금은 분석과 AI를 위한 비즈니스 준비 데이터를 제공합니다. 각 레이어는 소유자와 품질 보증을 가지고 있으며, 매 홉마다 점검됩니다. 이 패턴은 호숫가, 클래식 창고, 하이브리드 구조에도 동일하게 적용됩니다. 팀은 세 층을 규칙으로 여기기보다는 필요에 맞게 레이어 수를 조정해야 합니다.
이 패턴을 실천에 옮기려면 계층을 관리하고 열려 있으며 연결해 주는 플랫폼이 필요합니다. 이는 Apache Iceberg, Delta Lake 같은 오픈 테이블 포맷을 다루고, lakehouse와 엔터프라이즈 데이터 웨어하우스 워크로드를 나란히 지원하며, 도메인이 신뢰할 수 있는 데이터 제품을 공유할 수 있도록 하면서도 데이터를 또 다른 저장소로 복사하지 않아도 된다는 것을 의미합니다.
계층은 그 아래 플랫폼이 관리되고 개방적이며 연결되도록 유지할 때만 신뢰를 구축합니다. Teradata Autonomous Knowledge Platform 이 신뢰할 수 있는 엔터프라이즈 데이터에 데이터, 분석, AI를 어떻게 결합하는지 알아보세요.
자주 묻는 질문
메달리온 건축과 호숫가 건축의 차이점은 무엇인가요?
메달리온 건축과 호숫가 건축의 차이점은 무엇인가요?
레이크하우스는 데이터 레이크 스토리지에 창고 스타일의 관리와 트랜잭션을 추가하는 저장 및 처리 아키텍처입니다. 메달리온 아키텍처는 데이터를 세분화 수준별로 조직합니다. 두 가지는 종종 함께 사용되지만, 각각 다른 것 없이도 작동합니다.
메달리온 아키텍처는 여전히 유효한가요?
메달리온 아키텍처는 여전히 유효한가요?
네, 데이터 파이프라인의 공유 어사와 기본 구조로서입니다.
메달리온 아키텍처는 몇 겹이 필요한가요?
메달리온 아키텍처는 몇 겹이 필요한가요?
세 번째는 관습입니다: 청동, 은, 금. 어떤 디자인은 이들에 합쳐지거나 추가되는데, 예를 들어 몇몇 실무자들이 프리미엄 데이터 제품에 사용하는 네 번째 '플래티넘' 레이어가 있습니다.
메달리온 아키텍처와 데이터 볼트의 차이점은 무엇인가요?
메달리온 아키텍처와 데이터 볼트의 차이점은 무엇인가요?
메달리온 아키텍처는 청동, 은, 금의 층으로 데이터를 얼마나 정제되어 있는지에 따라 정리합니다. 데이터 볼트는 기록과 감사 가능성을 유지하기 위한 모델링 방법입니다. 이 둘은 종종 결합됩니다. 정규화된 또는 데이터 볼트 모델은 보통 은색에 위치하며, 차원별 스키마는 종종 금색에 위치합니다.
메달리온 아키텍처와 데이터 웨어하우스의 차이점은 무엇인가요?
메달리온 아키텍처와 데이터 웨어하우스의 차이점은 무엇인가요?
데이터 웨어하우스는 통합 데이터가 저장되고 모델링되는 곳입니다. 메달리온 아키텍처는 데이터를 단계별로 정제하는 디자인 패턴으로, 레이크하우스, 클래식 웨어하우스, 또는 하이브리드 구조에서 실행될 수 있습니다. 웨어하우스에서는 브론즈가 스테이징 구역에, 은은 통합 레이어에, 금은 프레젠테이션 레이어와 데이터 마트에 매핑됩니다.