개요
오늘날 디지털 환경에서 사람, 제품 및 사물에서 정보가 빠른 속도로 유입됨에 따라 다양한 종류의 데이터를 캡처, 결합 및 분석하는 것이 데이터 웨어하우징의 주요 과제입니다. 이것이 바로 통합 데이터 웨어하우스(IDW)의 목표입니다. IDW는 여러 주제 및 부서 영역을 효과적으로 통합하여 회사 내 기능 영역에 대한 360도 보기를 제공하는 상세하고 요약된 데이터의 중앙 저장소입니다.
데이터를 통합하는 두 가지 방법
데이터 통합을 위한 시스템을 구축할 때 시스템 아키텍처는 일반적으로 데이터 웨어하우스 디자인의 선구자인 William Inmon과 Ralph Kimball이 개발한 두 가지 철학 중 하나를 채택합니다.
- Inmon 또는 "하향식" 접근 방식은 고객, 제품 및 공급업체와 같이 비즈니스가 운영하는 주제 영역 및 개체를 식별합니다. 주요 개체별로 상세한 논리적 모델을 구성하고 모든 데이터를 사전에 통합 및 정의합니다. 이 모델을 사용하면 데이터를 로드하는 것이 덜 복잡하지만 쿼리를 구성하는 것이 더 어려워집니다.
- Kimball 또는 "상향식" 접근 방식은 데이터 웨어하우스가 답을 찾고자 하는 주요 비즈니스 프로세스와 질문을 식별하고 이러한 요구를 충족하기 위해 데이터 마트를 생성합니다. 데이터는 스테이징 영역에 로드되지만 Inmon 모델처럼 개체와 밀접하게 결합되지는 않습니다.
Inmon 접근 방식의 주요 강점은 데이터 웨어하우스가 모든 데이터가 통합되고 표준화된 단일 정보 소스 역할을 한다는 것입니다. Kimball 접근 방식은 쿼리가 수행되기 전에 데이터가 완전히 통합되지 않기 때문에 이러한 중앙 집중식 표준화는 결여되어 있습니다. 그러나 Kimball 방식을 사용하면 데이터 웨어하우스를 신속하게 구축하고 비즈니스 애플리케이션에 효율적으로 적용할 수 있습니다.
테라데이타는 "하향식" 접근 방식을 지지합니다. 이 방식을 사용하면 사용자는 항상 쿼리로부터 자유로울 수 있고 언제든지 모든 데이터에 대해 질문할 수 있습니다. 데이터 웨어하우징의 디자인은 다음 질문까지 드릴다운하여 근본 원인을 파악할 수 있도록 검사할 것을 권장합니다. Kimball 접근 방식에서 사용자는 핵심 질문에 답하기 위해 뒤로 돌아가서 다시 디자인해야 하므로 궁극적으로 특정 답변을 찾는 데 더 오랜 시간이 소요될 수 있습니다.
통합 데이터 웨어하우스(IDW)가 중요한 이유
광범위하게 액세스할 수 있는 방식으로 다양한 소스의 방대한 양의 데이터를 통합함으로써 비즈니스는 다음을 수행할 수 있습니다:
기능 단위 간에 정보 공유
서로 다른 데이터 소스를 한 곳에 모아 기업에 존재할 수 있는 데이터 사일로를 줄이고 데이터 일관성을 보장합니다.
여러 관점을 통합하면서 중요한 비즈니스 답변을 신속하고 정확하게 제공
가장 어려운 비즈니스 질문에 대한 해답을 효율적으로 찾을 수 있으므로 의사 결정자가 올바른 전략적 선택을 할 수 있도록 지원합니다.
단일 버전의 정보 표시
조직의 모든 구성원이 같은 정보를 사용하여 비즈니스 상태에 대한 결론을 도출할 수 있도록 합니다. 이러한 수준의 범용 액세스는 더 많은 시민 데이터 과학자가 가치를 더할 수 있으므로 IT에 대한 부담을 덜어줍니다.
이러한 기능은 데이터 접근성에 관한 조직의 문화를 근본적으로 변화시킬 수 있습니다. 데이터에 대한 사용자의 액세스를 제한하고 혁신을 방해하는 대신 IDW는 데이터를 사용자의 요구에 맞는 올바른 형식으로 안전하게 사용할 수 있도록 지원합니다. 이를 통해 분석을 빠르고 민첩하게 수행할 수 있으므로 비즈니스 사용자와 데이터 과학자가 모두 비즈니스에 가장 중요한 질문에 답변할 수 있습니다.
통합 데이터 웨어하우스(IDW)의 진화
데이터 웨어하우스에 대한 아이디어는 1960년대와 1970년대에 처음 형성되었지만, Barry Devlin과 Paul Murphy가 1988년에 “회사 내 정보 시스템 활동의 다양한 요소를 한데 모을 수 있는 회사 데이터의 통합 웨어하우스”의 필요성에 대해 썼을 때 획기적인 순간이 찾아 왔습니다.
수십 년 동안 컴퓨터 과학자들은 이러한 대규모의 플랫폼을 구축할 수 있는 최적의 방법을 열심히 연구해 왔습니다. 1991년, IPUMS(통합 공용 마이크로 데이터 시리즈)는 다양한 소스의 데이터를 하나의 시스템으로 통합하기 위해 ETL(추출, 변환 및 로드) 방법을 채택하여 데이터 웨어하우징 접근 방식의 역량을 보여주었습니다.
인터넷의 확장, 스마트폰의 등장, 클라우드 컴퓨팅의 등장으로 데이터가 폭발적으로 증가함에 따라 지속적으로 업데이트가 필요한 데이터 세트에 대한 ETL 실현 가능성이 떨어졌습니다. 이후 데이터 허브 및 데이터 레이크 접근 방식이 등장하여 밀접하게 결합된 관계형 데이터 프로세스 없이 비정형 데이터를 함께 풀링할 수 있게 되었습니다.
테라다데이타의 관점
40년이 넘는 기간 동안 테라데이타는 IDW 설계 및 개발의 최전선에 있었습니다. 그리고 오늘날 테라데이타는 모범 사례를 테라데이타 Vantage에 적용하면서 현장에서 계속 혁신하고 있습니다.
테라데이타 Vantage는 데이터를 100% 활용하여 언제 어디서나 무엇이든 분석할 수 있는 최고의 하이브리드 클라우드 데이터 애널리틱스 소프트웨어입니다. IDW의 힘과 독창성과 클라우드의 유연성 및 확장성을 결합한 테라데이타 Vantage는 사용 규모에 따라 업계 최고의 성능을 제공하도록 구축되고 가격이 책정되었습니다. 사용이 쉽고 현재 시스템과의 통합이 간단하며 고객의 요구 또는 진화하는 기술에 관계없이 유연성과 제어 기능을 제공합니다.