개요
빅 데이터 기술에 대한 기업의 요구를 충족하는 것이 테라데이타가 설립된 주요 이유였습니다. 사실, 테라데이타 회사명은 테라바이트급 데이터를 관리할 수 있는 능력에서 따왔습니다. (오늘날 그 수는 수많은 페타바이트의 데이터로 증가했습니다!). 당시에는 사용 가능한 하드웨어에 따라 대량의 데이터를 저장하고 분석하는 것이 제한되었습니다. 테라데이타는 엔터프라이즈 분석을 가능하게 하고 기술 문제를 해결하며 관계 모델에서 데이터를 통합하는 역량을 입증하기 위해, 대규모 데이터를 효과적으로 관리하는 Teradata Database를 생성하였습니다.
오늘날 데이터 웨어하우스는 하루에 수천만 건의 쿼리를 실행하고 임무수행에 필수적인 작업을 지원함에 따라 기술 문제는 하드웨어의 경계를 훨씬 넘어 진화했습니다. 증가하는 데이터의 볼륨과 다양성을 따라잡기 위해 기업은 올바른 도구를 사용하여 올바른 사용자에게 데이터가 흐를 수 있도록 설계된 빅 데이터 아키텍처가 필요합니다.
빅 데이터 아키텍처에 대한 질문
필요한 아키텍처를 디자인하는 것은 종종 올바른 질문을 하는 것부터 시작됩니다.
- 빅 데이터 전략이 빅 데이터 기술 요구 사항에 어떤 영향을 미치나요? 즉, 빅 데이터를 활용하여 해결해야 할 비즈니스 문제, 개선해야 할 운영 및 달성해야 할 목표는 무엇인가요?
- 기존 데이터 소스와 시스템 중 통합 아키텍처에 "플러그인"할 수 있는 것은 무엇인가요?
- 새로운 데이터 세트(예: 센서 데이터 또는 사물 인터넷의 데이터)를 어떻게 설명하나요?
- 귀하의 접근 방식이 데이터 기반 및 분석 기반 사고를 비즈니스 중심으로 전환하는 데 어떻게 도움이 될 수 있나요?
- 빅 데이터 및 애널리틱스 프로그램을 파일럿 단계 이상으로 "운영화"하거나 확장하는 데 필요한 구성 요소는 무엇인가요?
빅 데이터 기술 필수 구성 요소
전 세계 수천 개의 기업과 협력하면서, 우리는 작동하는 빅 데이터 플랫폼 구축과 관련하여 5가지 중요한 필수 요소를 식별했습니다. 우리 관점에서 빅 데이터 아키텍처는 다음 요소를 필요로 합니다:
1. 통합
데이터 웨어하우스, 데이터 레이크 및 애널리틱스를 단일 플랫폼으로 통합하면 원시 데이터 소스, 특정 비즈니스 인텔리전스 도구 및 표준 CRM 애플리케이션 간의 격차를 해소할 수 있습니다. 이를 통해 기존의 "하이브리드" 환경의 복잡성을 획기적으로 줄이고 기업은 매우 빠르게 이동하는 데이터 세트를 수집할 수 있게 되었습니다. 또한 사용자에게 데이터 및 애널리틱스 엔진에 대한 플랫폼 간 액세스를 제공합니다.
2. 확장 가능성
최근 IDC 설문조사에 따르면 응답자의 56%는 공급업체가 유연한 IT 소비 옵션을 제공하지 않는다면 IT 인프라 공급자 또는 IT 클라우드 서비스 공급업체를 완전히 거부할 것이라고 답했습니다. 테라데이타는 고객의 요청에 따라 클라우드, 하이브리드, 온프레미스 등 고객에게 가장 적합한 방식으로 데이터를 소비할 수 있는 데이터 애널리틱스 소프트웨어 플랫폼인 Vantage를 개발하였습니다. 고객이 내년은 물론 다음 달에 필요한 분석 기능의 규모도 예측할 수 없다는 것을 알고 있습니다. 테라데이타는 배포 전략이 변화함에 따라 애널리틱스 워크로드를 조정할 수 있는 유연성을 제공합니다.
3. 예측
많은 분석가와 전문가들은 오늘날 빅 데이터를 수집하고 관리하는 기업의 능력은 당연시되고 있다고 설명합니다. 중요한 것은 빅 데이터를 예측하고 행동할 수 있는 능력입니다. 여기에 인공 지능 및 그 하위 집합 분야인 머신 러닝이 등장합니다. 머신 러닝은 수동으로 프로그래밍 하지 않아도 컴퓨터가 학습할 수 있는 기능을 제공하므로, 데이터에서 패턴을 보고 미래 시나리오를 예측하는 모델을 구축할 수 있습니다. 이는 고객의 제품 구매 성향을 파악하거나, 제조공장의 모든 기계 출력을 최적화하거나, 보안 상황을 개선하는 데 매우 유용할 수 있습니다.
Vantage를 개발할 때 플랫폼이 광범위한 고급 분석 기능을 지원할 수 있도록 했습니다. 예를 들어, Machine Learning Engine은 경로, 패턴, 통계 및 텍스트 애널리틱스에 대해 사전 구축된 100개 이상의 애널리틱스 기능을 제공하여 광범위한 애널리틱스를 처리합니다. 마찬가지로 Graph Engine은 네트워크 내에서 사람, 제품 및 프로세스 간의 관계를 발견하는 일련의 기능을 제공합니다.
4. 접근 가능성
셀프 서비스 애널리틱스를 지원하는 기술과 정책을 통해 데이터 사일로를 줄이고 기업의 혁신 속도를 높일 수 있습니다. 이상적으로는 조직의 모든 구성원들이 IT에 액세스 권한을 요청하지 않고 업무를 효과적으로 수행하는 데 필요한 올바른 도구 및 데이터 세트에 액세스할 수 있어야 합니다. 이를 통해 직원들은 서로 다른 솔루션을 결합하는 데 소비하는 시간을 줄이고, 비즈니스의 가장 중요한 전략적 질문에 대한 답변을 찾고 적용하는 데 더 많은 시간을 할애할 수 있습니다.
또한 기술은 사용자가 선호하는 모든 언어와 도구를 지원해야 합니다. Vantage를 사용하면 데이터 과학자와 비즈니스 분석가가 서로 다른 도구와 언어를 사용하더라도 동일한 데이터로 작업할 수 있습니다. Vantage는 SQL, R, Python, Tableau, Qlik 및 Teradata AppCenter, Jupyter 및 RStudio 등 고객이 선호하는 도구 및 언어와 통합됩니다.
5. 혁신에 대한 개방성
고급 애널리틱스의 새로운 사용 사례와 다양한 데이터 유형 및 소스의 폭발적인 증가로 인해, 데이터 과학자는 다양한 데이터 과학 기술을 활용하지 않을 수가 없습니다. 기술은 포괄적이고 현재와 미래의 비즈니스 문제를 해결할 수 있어야 하므로, 미래에 등장할 새로운 도구 및 기술과 호환되는 아키텍처가 필요합니다. 이것이 바로 우리가 오픈 소스와 상용 분석 기술을 결합하는 Vantage를 개발한 이유입니다.
빅 데이터 애널리틱스를 지원하는 기술은 빠르게 변화하고 있습니다. 장기적이고 지속 가능한 빅 데이터 기술 전략을 수립하려면, 다양한 데이터 스트림, 도구 및 애플리케이션을 통합하는 아키텍처를 구축하는 것이 중요합니다. 또한 비즈니스 요구 사항에 따라 확장이 가능하고, 고급 예측 애널리틱스 기능을 지원하며, 역할에 관계없이 조직의 모든 구성원들이 액세스할 수 있어야 합니다. 필연적으로 등장할 미래의 혁신에 대한 열린 태도가 필요합니다. 이러한 기준을 잘 염두에 두고 있으면, 글로벌 데이터 경제가 계속 확장됨에 따라 우위를 점할 수 있는 역량을 갖추게 됩니다.