개요
테크 붐이 절정에 이르렀을 때, 빅 데이터 컴퓨팅의 기회는 데이터 과학자의 꿈처럼 보였습니다. 그러나 부적합한 도구와 복잡한 시스템으로 인해 빅 데이터는 곧 IT 악몽이 되었습니다. 테라데이타는 대규모로 해답을 지속적으로 제공하는 솔루션과 함께 업계에 진출했습니다.
빅 데이터의 약속
데이터 처리 및 저장 기능과 함께 인터넷 연결이 확장되면서 테크 붐이 절정에 달했을 때 "빅 데이터"가 처음 언급되었습니다. 컴퓨터 과학자들은 "검색 엔진이 우리가 정보에 접근하는 방식을 변화시켰듯이, 다른 형태의 빅 데이터 컴퓨팅은 기업, 과학 연구원, 의료 실무자 및 우리 나라의 국방 및 정보 운영의 활동도 변화시킬 수 있고 변화시킬 것입니다... 빅 데이터 컴퓨팅은 아마도 지난 10년간 컴퓨팅에서 가장 큰 혁신이 될 것입니다"라고 설명했습니다.
빅 데이터의 약속은 전례 없는 규모로 기업의 모든 데이터를 캡처하고 유지하는 기능이었습니다. 기업은 고객 행동을 더 잘 이해하고 시장 및 환경 결과를 예측하기 위해, 이전에 보관하지 않은 데이터도 유지할 수 있게 되었습니다. 애널리스트들은 빅데이터가 총 매출500억 달러 이상을 창출할 것으로 예상했습니다.
빅 데이터의 문제
그러나 Apache Hadoop과 같은 플랫폼을 수용하여 대용량 데이터를 일괄 처리하고 ETL(Extract, Transform, Load) 작업을 실행한 후 기업은 난관에 부딪쳤습니다. Hadoop과 같은 도구는 일상적인 작업을 실행하는 데 필요한 기존 애널리틱스를 충분히 지원하지 않았습니다. 이러한 스토리지 및 관리 격차를 메우고 실시간 지리 공간 및 기타 애널리틱스 사용 사례에 대한 애자일 플랫폼을 제공하기 위해 등장한 SQL 데이터베이스 및 객체 스토리지 공급자는 없었습니다. 전문가가 쓴 것처럼 "Hadoop은 데이터 웨어하우스를 진정으로 대체할 만큼 빠르게 변화하지 못했습니다."
모바일 및 사물 인터넷(IoT)의 부상으로 기업이 이제 더 다양한 데이터 소스를 지원해야 함에 따라 또 다른 문제가 발생했습니다. 곧 빅 데이터를 활용하는 것은 필연적 결론이 되었습니다. 비즈니스 리더들은 이제 클라우드와 소스 전반에 걸쳐 데이터의 컨텍스트를 이해하기 위해 애널리틱스 및 플랫폼의 유연성을 모색했습니다. IT 리더는 방대한 양의 데이터를 캡처하고 저장하는 동시에 데이터 애널리틱스, 통합 및 복제를 보다 민첩하고 빠르게 만드는 애플리케이션, 플랫폼 및 클라우드 인프라 공급업체를 찾고 있습니다.
빅 데이터에서 테라데이타의 역할
빅 데이터 처리에 대한 기업의 요구를 충족하는 것이 테라데이타가 설립된 핵심 원칙이었습니다. 사실, 테라데이타 회사명은 테라바이트급 데이터를 관리할 수 있는 능력에서 따왔습니다. (오늘날 그 수는 수많은 페타바이트의 데이터로 증가했습니다!). 당시에는 사용 가능한 하드웨어에 따라 대량의 데이터를 저장하고 분석하는 것이 제한되었습니다. 테라데이타는 엔터프라이즈 분석을 가능하게 하고 기술 문제를 해결하며 관계 모델에서 데이터를 통합하는 역량을 입증하기 위해, 대규모 데이터를 효과적으로 관리하는 Teradata Database를 생성하였습니다.
오늘날 데이터 웨어하우스는 하루에 수천만 건의 쿼리를 실행하고 임무수행에 필요한 작업을 지원함에 따라, 많은 기업들이 빅 데이터를 더욱 보호하게 되었습니다. 기업은 데이터 과학자와 비즈니스 분석가가 보고서를 원활하게 실행하고 통찰력을 얻는 것을 방해하는 액세스를 제한하는 경우가 많습니다. 이로 인해 사용자들은 자체 도구를 사용하여 자체 해결 방법을 만들어 애널리틱스 사일로가 생성되는 경우가 많습니다.
빅 데이터 애널리틱스를 통합하기 위해 테라데이타 Vantage는 데이터 환경에서 애널리틱스 엔진 유형을 확장하여 다양한 사용 사례에서 사용할 수 있도록 지원합니다. Vantage는 기능을 지속적으로 복제하는 대신 필요할 때 사용할 수 있는 논리적 중앙 아키텍처로 기능을 함께 제공합니다. 테라데이타는 SQL Analytic Engine만 갖춘 모델에서 Machine Learning 및 Graph Engine을 포함하는 모델로 확장되었으며, 이는 시작에 불과합니다. 이제 모든 유형의 프로그래머가 필요한 엔진과 기능을 참조하여 시간과 데이터 이동을 최소화하고 일관성과 성능을 향상시킬 수 있습니다.
또한 Vantage는 엔진이 훨씬 더 다양한 데이터 세트에 액세스할 수 있도록 지원하며 데이터 스토리지 환경 전반에 필요한 연결을 제공합니다. 이는 많은 그룹에서 반복적으로 사용되고 구조와 엄격한 관리가 필요한 데이터부터 알 수 없거나 가변적인 구조로 빠르게 저장해야 하는 데이터 및 제한된 사용자 그룹이 액세스하는 데이터까지 다양한 데이터 요구 사항을 수용합니다.
마지막으로, 데이터 과학과 관련하여 사용자가 작업할 수 있는 도구를 제한한다는 단점에 대해 이해하고 있습니다. 그래서 모든 프로그래머가 선택한 도구로 작성할 수 있도록 도구와 언어를 추상화했습니다. 이를 통해 더 많은 사용자가 분석에 액세스할 수 있게 됨에 따라 더 많은 통찰력을 더 낮은 비용으로 더 빠르게 얻을 수 있습니다.
빅 데이터 + 민첩성 = 해답
빅 데이터는 수십 년 동안 디지털 기술에서 중요한 역할을 해왔습니다. 하지만 그 마법은 그 크기에서 오는 것이 아닙니다. 빅 데이터의 힘은 많은 사람들이 더 빨리 올바른 답을 얻을 수 있도록 돕는 것에서 나옵니다. 테라데이타는 초창기부터 빅 데이터 기술을 통합하기 위해 노력했으며 이것이 비즈니스의 이해와 실행 가능한 통찰력을 높이는 열쇠라는 것을 알고 있었습니다. 오늘날 우리는 Vantage를 통해 그 레거시를 이어가고 있으며, 빅 데이터 애널리틱스를 통합하여 기업이 더 빠르게 해답을 찾고 비즈니스 성공을 주도하는 민첩성을 유지할 수 있도록 지원합니다.