데이터 메시와 데이터 가상화는 동일하지 않습니다.

엔터프라이즈 데이터 아키텍처에 대한 데이터 메시 접근 방식은 많은 이점을 가지고 있지만, 이를 보유하는 모든 사람의 이점을 크게 제한하는 광범위한 오해가 있습니다.

데이터 메시는 엔터프라이즈 데이터에 대한 "분할 및 정복" 접근 방식을 옹호합니다. 이 아이디어는 도메인 간에 필요한 조정 비용을 최소화하여 각 "도메인" 내의 데이터 제품(예: 금융 서비스 회사 내의 신용 카드, 모기지 및 소매 금융 서비스)이 가능한 한 독립적으로 배포될 수 있도록 작업을 분할하는 것입니다. 이 접근 방식을 사용하면 작업 병렬화를 통해 더 빠른 전달이 가능하고, 각 도메인 내의 전문가가 데이터 제품을 더 잘 제어할 수 있게 함으로써 품질을 개선하고, 액세스하기 쉬운 표준 메커니즘을 통해 데이터를 노출하여 복잡성을 줄입니다.

데이터 가상화 기술(예: 테라데이타 Query Grid, Apache Presto 등)은 반독립적인 데이터 제품 전반에 걸쳐 원활한 액세스를 제공하도록 설계되었기 때문에 데이터 메시 접근 방식에서 중요한 역할을 합니다.

그러나 데이터 메시와 데이터 가상화 기술은 동일하지 않습니다.

데이터 가상화를 데이터 메시처럼 취급하면 대기업에 필수적인 보다 미묘한 접근 방식의 기회를 놓치게 됩니다. 이러한 협소한 관점으로 인해 중복 데이터가 생성되고 옴니채널 고객 경험 또는 공급망 최적화와 같이 이러한 관련성이 필요한 이니셔티브에 대해 도메인 간 데이터를 의미론적으로 연결할 수 없습니다. 또한 대용량의 복잡한 데이터 구조를 결합하는 애플리케이션 및 애널리틱스가 최적 성능 미만으로 구동될 수 있습니다. 데이터 가상화 기술이 아무리 발전하더라도 물리학의 법칙을 거역할 수 없습니다.

데이터 메시의 전체 가치를 얻으려면 도메인을 구성할 때 세 가지 패턴을 권장합니다. 이 패턴은 모두 대규모 조직에서 유용하며 그 중 하나만 가상화 기술과 관련이 있습니다:

병합 및 연결. 이 패턴에서 데이터베이스 구조는 의미론적으로 관련이 있으며(고객 데이터는 의미 있는 판매 데이터에 연결되고 이는 제품 데이터에 연결됨) 동일한 데이터베이스 인스턴스에 존재합니다. 다양한 객체와 관련된 스키마는 여전히 각 도메인과 연결된 팀에 의해 반독립적으로 개발되지만, 객체 자체는 같은 쇼핑몰의 여러 소매점과 유사하게 단일 데이터 저장소에 기여합니다. 동일한 데이터베이스 인스턴스에 별도의(관련된) 스키마를 저장하면, 복잡하고 자주 조인하는 대용량 데이터에 액세스하는 다양하고 까다롭고 비즈니스 핵심적인 애플리케이션에서 우수한 성능을 발휘할 수 있습니다. 사실 이런 상황에서 성능 요구 사항을 충족할 수 있는 다른 방법은 없습니다​.

분산 및 연결. 이 패턴은 가상화 기술을 사용하여 별도의 플랫폼(별도의 클라우드, 별도의 클러스터, 별도의 데이터베이스 소프트웨어 등)에 있는 데이터를 연결합니다. 그러나 "연결"이라는 용어는 공통 인터페이스를 통해 여러 데이터 제품에 대한 물리적 액세스를 제공하는 것 이상을 의미합니다. 또한 데이터가 결합될 때 의미가 전달되는지 확인해야 합니다. 즉, 데이터도 이전 패턴과 마찬가지로 의미적으로 연결되어야 합니다. 이는 가상화를 통해 자동으로 발생하지 않습니다. 도메인 전반에 걸친 계획과 조정이 필요합니다. 이 패턴은 물리적으로 데이터를 같은 위치에 배치하는 것이 규제 또는 기타 이유로 비실용적이거나 실행 불가능한 경우 또는 데이터의 특성 및 액세스 방법에 따라 성능상의 이점이 거의 없는 경우에 유용합니다.

격리. 이 패턴은 도메인 간에 연결될 필요가 거의 없는 도메인 또는 도메인 그룹에 유용합니다. 예를 들어, 더 큰 지주 회사의 독립 사업부 내의 데이터(교차 마케팅, 공유 고객 목록, 및 공통 공급망 요소 없음)는 이러한 사업부 내의 도메인이 여전히 이전 두 패턴을 활용할 수 있더라도 이 패턴에 적합할 수 있습니다. 불행하게도 비즈니스 이익이 조정 노력보다 클지라도 도메인을 더 넓은 에코시스템에 통합해야 하는 정치적 장애물에 의해 극복할 수 없는 과제가 제시될 때 고립된 도메인이 생성될 수 있습니다.

보시다시피 데이터 메시 철학을 적용하여 데이터 제품을 어떻게 설계해야 할지 계획할 때는 심사숙고해야 합니다. 가상화를 통해 데이터를 연결한다는 관점에서만 생각하는 것은 근시안적이며 가상화가 제공하는 본질적인 가치를 감소시킵니다. 특정 도메인 및 교차 도메인 비즈니스 이니셔티브의 요구에 따라 세 가지 패턴을 모두 적절하게 적용하면 분산 개발의 모든 이점을 누릴 수 있으며 동시에 기업 전체에 합리적이고 통합된 신뢰할 수 있는 데이터 배포를 가속화(억제하지 않음)할 수 있습니다.

데이터 메시에 대한 테라데이타의 관점에 대해 자세히 알아보려면 이 백서를 참조하세요.