개요
데이터를 효율적으로 처리, 집계, 분석하는 능력은 최근 몇 년간 더욱 가치 있게 되었습니다. 클라우드 데이터 웨어하우징은 대규모 조직이 이 요구를 상당한 민첩성, 효과성, 속도로 충족할 수 있게 합니다. 가트너는 2022년까지 전체 데이터베이스의 75% 가 클라우드로 이전했거나 처음에는 클라우드에 배포될 것이라고 예측했습니다.
모든 이용 가능한 증거는 기업 데이터 사용이 계속 증가할 것이며, 유통되는 데이터 유형과 출처가 더 다양해질 것임을 시사합니다. 이러한 데이터 다양성의 진화는 전통적인 데이터 웨어하우징 방식이 다룰 수 없는 유연한 접근법을 요구하며, 바로 그 점에서 클라우드 가 역할을 합니다.
온프레미스 인프라는 여전히 데이터 웨어하우징에 가치를 제공하지만, 하이브리드 환경을 포함한 클라우드 우선 데이터 웨어하우스가 빠르게 표준이 되었습니다. 추세는 이러한 변화가 계속될 것임을 시사합니다. 이제 이 기술의 기본을 살펴보고, 귀사의 클라우드 데이터 웨어하우징 솔루션을 어떻게 평가하고 구현할 수 있는지 살펴보겠습니다.
클라우드 데이터 웨어하우징이란 무엇이며 어떻게 작동하나요?
클라우드 데이터 웨어하우스 는 데이터 처리, 집계, 통합, 정제, 로딩, 보고 등 전통적인 데이터 웨어하우스에서 기대할 수 있는 모든 기능을 수행합니다. 하지만 이는 퍼블릭 클라우드 환경 내에서 이루어집니다. 예로는 Microsoft Azure SQL Data Warehouse, Amazon Redshift, Teradata 자율 지식 플랫폼, Google Cloud의 BigQuery, Snowflake Cloud Data Platform이 있습니다.
온프레미스 데이터웨어하우스와 마찬가지로, 클라우드에 배포되는 엔터프라이즈 데이터 웨어하우스도 일반적으로 구조화 및 반구조화 데이터에 중점을 둔 관계형 데이터베이스입니다. 이는 고객 관계 관리(CRM), 전사적 자원 관리(ERP), 판매 시점 관리 애플리케이션 등에서 볼 수 있는 유형입니다. 반면 비정형 데이터는 일반적으로 클라우드 기반일 수 있는 데이터 레이크 프레임워크를 통해 집계됩니다.
가장 세밀한 수준에서, 창고에 저장된 대부분의 데이터는 사실, 측정값 또는 차원으로 특징지어집니다:
- 사실: 특정 사건 또는 거래와 관련된 데이터 포인트, 예를 들어 "직원 존 스미스에게 연간 총 급여 $48,000에 대해 $4,000 보상."
- 측정 기준: 사실과 관련된 정확한 수치 — 위 예시를 기준으로 한 지표 중 하나는 "월 급여: $4,000"입니다.
- 치수: 이 문서들은 사실과 측정을 "직원 이름: 존 스미스", "직접 입금 날짜: 11월 15일 및 11월 30일"과 같이 보다 구조화된 맥락 정보를 포함해 분류합니다.
클라우드 데이터베이스는 다재다능함으로 구별되며, 따라서 쉽게 다차원적일 수 있습니다. 현대 클라우드 데이터베이스는 단일 공간에서 현재 및 과거 빅데이터의 여러 차원을 쉽게 관리할 수 있을 뿐만 아니라, 서버리스 아키텍처로 운영되어 기업의 데이터 관리 부담을 최소화할 수 있습니다. 또는 클라우드 데이터베이스는 두 개 이상의 물리적 서버를 사용하는 클러스터-앤 노드 방식을 사용할 수 있습니다.
전통적인 아키텍처와 클라우드 아키텍처
전통적인 엔터프라이즈 데이터 웨어하우스는 조직이 자체 하드웨어 프로비저닝, 저장, 컴퓨팅 자원을 관리하는 온프레미스 다계층 아키텍처 를 활용합니다. 데이터는 보고와 분석에 사용할 수 있기 전에 여러 계층을 거칩니다.
대부분의 전통적인 창고 아키텍처는 3단계 구조를 따릅니다. 기본 계층은 운영 시스템 및 기타 출처에서 데이터를 수집하는 데이터베이스 계층입니다. 중간 계층에는 데이터를 변환하고 분석할 수 있는 온라인 분석 처리(OLAP) 서비스가 포함됩니다. 최상위 계층에는 비즈니스 사용자를 위한 대시보드, 시각화, 쿼리 인터페이스를 제공하는 보고 및 분석 도구가 있습니다.
전통적인 구성은 비즈니스 전반의 데이터를 집계하는 중앙 집중식 기업 창고부터 부서별 데이터 마트 나 여러 데이터베이스를 동시에 조회하는 가상 창고까지 다양합니다.
클라우드 데이터 웨어하우스는 다른 접근 방식을 취합니다. 고정 인프라에 의존하는 대신, 클라우드 데이터 웨어하우스는 탄력적인 클라우드 플랫폼을 활용하여 조직이 증가하는 데이터 양과 함께 컴퓨팅 및 스토리지 용량을 동적으로 확장 할 수 있도록 합니다. 클라우드 배포는 일반적으로 두 가지 큰 아키텍처 패턴으로 나뉩니다: 여러 노드를 이용해 쿼리를 처리하는 클러스터 기반 시스템과 클라우드 제공자가 컴퓨팅 자원을 동적으로 관리하는 서버리스 시스템입니다.
전통적 데이터 웨어하우징과 클라우드 데이터 웨어하우징의 또 다른 주요 차이점은 인프라가 고객 간에 어떻게 공유되거나 격리되는지에 있습니다. 클라우드 제공업체는 성능, 비용 효율성, 운영 통제의 균형을 맞추는 여러 테넌시 모델을 일반적으로 제공합니다.
| 배포 모델 | 아키텍처 설명 | 성능 특성 | 비용 프로필 | 통제 수준 | 일반적인 사용 사례 |
|---|---|---|---|---|---|
| 단일 테넌트 클라우드 데이터 웨어하우스 | 단일 조직을 위한 전용 인프라. 컴퓨트 및 스토리지 자원은 다른 고객과 공유되지 않습니다. | 고립된 자원과 예측 가능한 작업 부하 덕분에 높고 일관된 성능. | 인프라가 한 명의 테넌트를 위해 예약되어 있기 때문에 비용이 더 높습니다. | 구성, 보안 정책, 자원 할당에 대한 최대한의 제어권. | 엄격히 규제되는 산업, 민감한 작업 부하, 그리고 엄격한 성능 격리가 필요한 기업들. |
| 다중 테넌트 클라우드 데이터 웨어하우스 | 여러 조직이 클라우드 제공업체가 관리하는 동일한 기본 인프라를 공유합니다. | 성능은 자원 할당과 테넌트 간 워크로드 분담에 따라 달라질 수 있습니다. | 공유 인프라와 규모의 경제로 인한 비용 절감. | 인프라 관리는 주로 제공자가 담당하기 때문에 제한된 통제권을 가지고 있습니다. | 비용 효율성, 신속한 배포, 그리고 간소화된 운영을 우선시하는 조직들. |
| 하이브리드 클라우드 데이터 웨어하우스 | 전용 자원을 공유 클라우드 서비스와 결합하거나, 온프레미스 인프라를 클라우드 환경과 통합합니다. | 전용 인프라와 공유 인프라에서 동작하는 워크로드에 따라 밸런스 성능이 균형 잡혔습니다. | 조직이 환경 전반에 걸쳐 지출을 최적화할 수 있도록 하는 유연한 비용 구조입니다. | 배치 설계와 기존 시스템과의 통합에 따라 중간에서 높은 제어권을 가집니다. | 온프레미스 시스템에서 이전하거나 제어와 확장성이 모두 필요한 혼합 워크로드를 실행하는 기업들. |
분석을 위한 클라우드 데이터 웨어하우징 활용의 이점
기가바이트(기가미터, 결국에는 테라바이트)의 데이터를 모으고 집계하는 것은 저장이나 운영에 관한 것이 아닙니다. 이 인사이트가 드러내는 인사이트는 성장과 수익을 이끄는 전략적 개발의 기반이 될 수 있으며, 이는 분석 도구로 열려야 합니다.
클라우드 솔루션을 통해 호스팅된 데이터 웨어하우스에서 데이터 분석과 보고를 수행하는 것은 온프레미스 웨어하우스에서 동일한 작업을 수행하는 것과 상당히 다릅니다. 사실, 이는 현재 기업 세계에서 가장 흥미로운 클라우드 컴퓨팅 트렌드 중 하나라고 할 수 있습니다.
클라우드 데이터 웨어하우스는 단일 또는 다중 클라우드 또는 하이브리드 배포 전반에 걸쳐 분석 워크로드에 비용 효율적인 확장성과 탄력을 제공합니다. 쿼리는 온프레미스 웨어하우스보다 더 빠르게 실행되며, 하드웨어 오버헤드가 없어 전체 비용이 더 낮습니다.
클라우드에 적합한 데이터 분석 엔진을 갖추면, SQL, Python, SAS, R 등 익숙한 프로그래밍 언어를 사용해 상황에 맞게 정교한 알고리즘을 설계하고 구현할 수 있는 유연성을 조직에 제공할 수 있습니다. 이 맥락에서 확장 가능한 분석은 최첨단 머신러닝 프로세스, 클러스터링 및 세분화, 감성 구문, 텍스트 추출, 그래프, 지리공간 또는 시계열 분석을 활용합니다.
또한, 클라우드에서 데이터 웨어하우스 분석을 실행하면 Amazon EBS, S3, SageMaker, Glue, Lambda뿐만 아니라 Azure Blob Storage, Data Factory, ML Studio, PowerBI 등 다양한 데이터 관리 서비스와 통합할 수 있습니다.
클라우드 기반 데이터 웨어하우스를 선택하고 배포하는 방법
먼저, 클러스터 기반 아키텍처나 서버리스 웨어하우스 아키텍처가 조직의 클라우드 배포에 적합한지 고려해야 합니다.
클러스터 웨어하우스는 더 예측 가능한 가격 책정과 직접적인 감독을 가능하게 하지만, 후자의 장점은 탄력성, 용량, 클러스터 건전성 관리에 더 많은 시간과 자원을 투입해야 한다는 희생을 의미합니다. 반면, 서버리스 모델은 CSP가 완전히 감독하며 탄력성을 자동으로 확장하지만, 쿼리당 또는 활용도에 따라 비용을 지불하여 예측하기 어려울 수 있습니다.
사실 가격 책정은 모델과 상관없이 클라우드 데이터 웨어하우스를 선택할 때 가장 복잡한 부분일 수 있습니다. 강력한 클라우드 플랫폼의 주요 장점 중 하나는 탄력성이지만, 데이터 워크로드가 안정적일 때는 비용 비효율성에 직면할 수 있습니다. 또한, 데이터를 클라우드에서 이동시키는 워크플로우와 관련된 비용, 그리고 빠르게 통제 불능이 될 수 있는 복잡한 예산 및 비용 통제에 대한 비용을 모니터링하는 것이 매우 중요합니다.
마지막으로, 클라우드 기반 웨어하우스의 초기 구현은 예상보다 성능이 느릴 수 있으며, 사용자가 이 초기 문제를 수용하기 위해 관행을 변경해야 할 수도 있습니다.
클라우드 데이터 웨어하우스를 극대화하려면 Teradata 자율 지식 플랫폼과 같은 민첩하고 다중 클라우드 데이터 플랫폼이 필요합니다. 클라우드 서비스인 Teradata Cloud는 기업용 워크로드를 위해 특별히 설계되었으며, 고정 + 플렉스 가격은 고정 기준선과 주문형 유연 용량을 결합합니다. 이 플랫폼은 클라우드, 온프레미스, 하이브리드 배포를 지원하여 데이터가 위치한 곳에서 데이터를 처리하여 데이터 이동을 최소화합니다.
자주 묻는 질문
클라우드 데이터 웨어하우스란 무엇인가요?
클라우드 데이터 웨어하우스란 무엇인가요?
클라우드 데이터 웨어하우스는 거래 시스템, 애플리케이션 및 기타 소스의 데이터를 모아 분석 쿼리와 비즈니스 인텔리전스를 제공하며, 필요에 따라 확장 가능한 저장 및 컴퓨팅을 제공합니다.
클러스터 기반과 서버리스 클라우드 데이터 웨어하우스의 차이점은 무엇인가요?
클러스터 기반과 서버리스 클라우드 데이터 웨어하우스의 차이점은 무엇인가요?
클러스터 기반 시스템은 쿼리를 처리하기 위해 여러 노드를 사용하는 반면, 서버리스 시스템에서는 클라우드 제공자가 컴퓨팅 자원을 동적으로 관리합니다. 가격도 다릅니다. 서버리스 모델은 쿼리당 또는 활용도별로 요금을 부과하여 예측하기 어려울 수 있습니다. 테넌시는 별도의 결정입니다. 엄격한 성능 격리가 필요하면 단일 테넌트를, 더 낮은 비용이 더 중요하다면 다중 테넌트를 선택하세요.
클라우드 데이터 웨어하우스와 데이터 레이크의 차이점은 무엇인가요?
클라우드 데이터 웨어하우스와 데이터 레이크의 차이점은 무엇인가요?
데이터 웨어하우스는 빠른 SQL 쿼리와 보고에 최적화된 사전에 정의된 스키마 하에 관계형 데이터를 저장합니다. 데이터 레이크는 빅데이터 처리나 머신러닝과 같은 분석을 위해 어떤 규모에서든 구조화된 데이터와 비구조화된 데이터를 있는 그대로 저장합니다.
클라우드 데이터 웨어하우스는 어떻게 선택하나요?
클라우드 데이터 웨어하우스는 어떻게 선택하나요?
순위보다는 워크로드, 예산, 배포 요구사항부터 시작하세요. 클러스터 기반과 서버리스 아키텍처 중 선택하고, 가격 모델을 비교하며, 단일 클라우드, 다중 클라우드, 하이브리드 배포가 필요한지 확인하세요. 클라우드, 온프레미스, 하이브리드 배포 환경에서 실행되는 플랫폼은 데이터가 있는 곳에서 처리할 수 있어 데이터 이동을 최소화할 수 있습니다.
클라우드 데이터 웨어하우스로 이전할 때 주의해야 할 점은 무엇인가요?
클라우드 데이터 웨어하우스로 이전할 때 주의해야 할 점은 무엇인가요?
주로 비용과 초기 성능입니다. 가격 책정은 선택 중 가장 복잡한 부분일 수 있습니다. 서버리스 모델은 쿼리당 또는 활용도별로 요금을 부과하여 예측하기 어렵습니다. 또한 데이터를 클라우드에서 옮기면 비용이 증가합니다. 초기 구현은 예상보다 느릴 수 있으며 사용자가 자신의 관행을 조정해야 할 수도 있습니다.