개요
약 10년 전, 빅 데이터 애널리틱스의 잠재적 가치는 전 세계 모든 산업 분야의 기업 리더들에게 점점 더 명백해지기 시작했습니다. 이것은 조직과 개인이 생성하는 엄청난 양의 데이터에서 비롯되었으며 과잉 상태로 확장될 위험에 처했습니다. 기업이 명확한 통찰력을 찾고 데이터에서 실행 가능한 결론을 도출하는 데 도움이 되는 데이터 애널리틱스 도구는 이 문제에 대한 명확한 솔루션으로 부상하였습니다.
이제 우리가 새로운 10년의 초기 단계를 지나감에 따라 데이터 애널리틱스의 중요성이 지속적으로 꾸준히 증가할 것이라는 점은 분명합니다. 정보가 기하급수적으로 증가하고, 클라우드 아키텍처가 확장하며, 새로운 디자인 패턴이 등장하는 새로운 시대이며, 기업 데이터를 감독, 저장, 배포, 분석 및 활용을 담당하는 사람들의 역할이 상당히 커졌습니다. 누구도 데이터 애널리틱스의 미래를 명확하게 예측할 수는 없지만 일부 트렌드를 광범위하게 식별할 수 있습니다. 흥미로운 돌파구와 극복해야 할 주목할만한 과제가 우리 앞에 놓여 있을 것입니다.
데이터 애널리틱스에서 AI 및 머신 러닝의 역할 증가
오늘날의 인공 지능(AI)은 과거 수십 년 동안 위대한 SF 작가와 영화 감독이 상상했던 현실과는 차이가 있습니다. 하지만 가상 환경이 우리의 직업 및 개인 생활에서 만연하고 애널리틱스 관리 및 최적화에서 중요한 역할을 한다는 것은 부인할 수 없습니다.
머신 러닝(ML)은 여러 가지 이유로 데이터 애널리틱스를 위한 AI의 가장 중요한 영역입니다. 복잡한 ML 알고리즘은 정형 또는 비정형 데이터를 몇 분 또는 몇 초 만에 처리, 배포 및 분석할 수 있습니다. 그러나 더 중요한 것은 ML 플랫폼이 이를 통과하는 데이터를 지속적으로 학습한다는 것입니다.
이를 통해 품질을 꾸준히 향상시키는 ML 운영을 지속적으로 자체 개선함과 동시에, 예측 및 규범적 애널리틱스의 잠재력도 열어줍니다. Forbes Technology Council의 게스트 게시물에서 InfoVision의 최고 기술 및 혁신 책임자인 Chithrai Mani는 기업이 ML에서 파생된 실행 가능한 통찰력을 사용하여 보다 정확한 시장 조사를 수행하고 개별 고객과 대규모 소비자 인구통계의 행동을 예측하고, 수많은 운영 영역(마케팅 및 고객 서비스에서 공급망 관리 및 유지 보수에 이르기까지)에서 개선 전략을 고안하기 시작했다고 설명했습니다.
따라서 ML 사용이 향후 몇 년 동안 가장 주목할만한 데이터 애널리틱스 트렌드 중 하나라는 것은 놀라운 일이 아닙니다. Gartner에 따르면 2024년까지 조직의 75%가 AI 및 ML의 파일럿 프로그램 단계에서 이러한 기술을 본격적으로 사용하는 단계로 전환할 것이라고 예측했습니다. ML은 의사결정 모델링, 개인화 및 데이터 관리와 같은 프로세스에 활력을 불어넣을 잠재력이 있으며, 처리되는 데이터의 양을 고려할 때 가장자리에서 훨씬 더 널리 퍼질 것입니다. Data Science Central이 언급한 바와 같이 이러한 노력의 성공을 달성하기 위해서는 고품질 데이터 엔지니어링이 필요합니다.
또 다른 Gartner 보고서는 데이터의 양이 계속 확장되고 조직의 데이터 의존도가 증가함에 따라 기업이 AI 운영(ML 포함)을 확장하는 것이 중요할 것이라고 밝혔습니다. 리서치 회사는 또한 COVID-19 전염병으로 인한 경제의 급격한 변화로 인해 애널리틱스에서 과거 데이터에 대한 중요도가 떨어지게 될 것이라고 지적했습니다. 따라서 ML 도구는 계산의 기반이 되는 정보가 줄어든 것에 적응해야 하지만 기술의 특성상 이러한 문제를 수용할 수 있음을 시사합니다.
멀티 클라우드, 하이브리드 클라우드 및 Intercloud 아키텍처에서 증가하는 데이터
기업은 워크로드 및 이와 관련된 데이터의 많은 부분을 클라우드로 이동하고 있습니다. Gartner는 2022년까지 모든 데이터베이스의 75%가 클라우드를 기반으로 운영될 것이며, 2023년까지 데이터베이스 관리 시스템(DBMS) 시장 수익의 절반이 클라우드 DBMS 채택에서 비롯될 것이라고 예측했습니다. 물론 특정 데이터는 온프레미스로 유지해야 할 이유가 충분합니다. 모두 마이그레이션을 해야 가치가 더 커지는 것은 아닙니다. 그러나 Gartner의 수치를 고려할 때 이러한 클라우드 마이그레이션 추세가 역전되거나 크게 둔화되는 것을 상상하기는 어렵습니다.
이러한 추세와 관련된 데이터의 양과 다양성은 많은 기업이 하나의 클라우드가 아닌 여러 클라우드로 마이그레이션하고 있음을 의미합니다:
- 멀티 클라우드 접근 방식을 선택하는 기업은 하나 이상의 클라우드 서비스 제공업체(CSP)에서 제공하는 여러 클라우드를 사용합니다.
- 하이브리드 클라우드는 온프레미스 인프라와 퍼블릭 클라우드 리소스를 동시에 사용하는 것을 나타냅니다.
- Intercloud는 여러 CSP의 퍼블릭 클라우드를 전체적인 단일 아키텍처로 연결합니다. 이러한 Intercloud 활용 전략을 통해 워크로드를 자동으로 이동하고 실시간 비즈니스 요구 사항에 따라 각 클라우드의 특정 이점을 활용할 수 있습니다.
특정 비즈니스 부문의 요구 사항을 충족하기 위해 특정 클라우드 서비스도 등장했습니다. VentureBeat에 따르면 이러한 추세에는 Microsoft Cloud for Manufacturing 및 SaaS 기반 전자건강기록(EHR) 도구와 같은 소위 "산업 클라우드" 솔루션이 포함됩니다.
비즈니스 애널리틱스 관점에서 볼 때 Microsoft, Amazon, Google과 같은 주요 제공업체의 범용 클라우드 오퍼링과 산업별 클라우드 오퍼링 사이에 아직 큰 차이가 없을 수 있다는 점에 주목해 볼 필요가 있습니다. 그러나 이러한 개발은 표준 퍼블릭 클라우드 오퍼링이 해당 부문의 요구를 처리할 수 있는 능력에 대해 우려하는 조직에게 여전히 고려할 가치가 있습니다.
기업이 클라우드 마이그레이션을 위해 어떤 배포 스타일을 선택하든 상관없이 데이터 애널리틱스 기술 도구가 클라우드를 지원하는지 확인하는 것이 중요합니다.
데이터 메쉬 디자인 패턴의 부상
데이터 애널리틱스를 최대한 활용하기 위해 기업은 단순히 데이터가 저장되는 위치에 대해 생각할 것이 아니라 데이터가 어떻게 배열되는지(구조 및 아키텍처)도 고려해야 합니다. 지난 1년 동안 데이터 레이크, 데이터 웨어하우스, 데이터 레이크하우스, 데이터 메시, 데이터 패브릭과 같은 용어가 자주 언급되었고 간혹 혼란을 주기도 합니다.
이러한 혼란을 피하기 위해 우리는 주로 데이터 메시에만 집중합니다. 이 접근 방식에서는 기업 운영의 여러 영역(예: 마케팅 및 회계)에 대한 데이터 도메인이 비즈니스 부서와 관련된 데이터에 가장 밀접한 사람들에 의해 상호 독립적으로 제어됩니다.
각 도메인에 별도의 스키마가 있는 경우(테라데이타가 권장하는 접근 방식) 엔터프라이즈 데이터가 단일 스키마로 중앙 집중화될 때 인스턴스에서 병목 현상이 발생할 확률은 상당히 낮습니다. 각 도메인은 필요에 따라 데이터 거버넌스 규정을 따르며, 한 도메인 내에서 개발된 데이터 제품은 상호운용성 표준에 따라 제작되어 상대방이 사용할 수 있습니다. 또한 데이터 메시에서 도메인 스키마는 격리되거나 단일 데이터베이스 아래에 함께 배치되거나 단순히 서로 연결될 수 있으며, 이 중 후자의 두 가지는 특히 엔터프라이즈 애널리틱스에 적합합니다.
데이터 메시를 사용하면 복잡한 데이터 제품의 개발 및 제공을 가속화하고 기업 전체에서 이를 훨씬 쉽게 공유할 수 있습니다. 이는 모든 회사 내에서 운영의 여러 측면을 동시에 인식해야 하는 다양한 기능을 수행하는 팀에게 중요한 이점이 될 수 있습니다.
데이터 메쉬는 특정 문제를 야기할 수 있습니다. 데이터 메쉬는 본질적으로 많은 데이터 세트를 생성합니다. 이로 인해 복제, 성능 및 품질 저하, 거버넌스 문제가 발생할 수 있습니다. 그러나 대기업의 경우 도메인 분산은 여러 도메인의 데이터를 가장 효과적으로 활용하는 데 매우 유용할 수 있습니다. 테라데이타의 QueryGrid 솔루션은 데이터 메시 소유권 및 유지 관리 프레임워크의 이상적인 동반자가 될 수 있습니다.
데이터 과학자 및 CDO에 대해 증가하는 수요
데이터 애널리틱스 관리의 또 다른 주요 트렌드는 애널리틱스의 "기본" 작업을 수행하고 그 안에서 통찰력을 찾는 사람들과 관련이 있습니다.
2020년 5월 노동통계국(BLS)의 2020년 5월 기준 데이터(정확한 수치를 확인할 수 있는 가장 최근의 날짜)에 따르면 미국 노동 인구 중 "데이터 과학자," “데이터 엔지니어,” 또는 유사한 직위를 가진 개인은 60,000명 미만으로 확인됩니다. 공급과 수요에 여전히 불균형이 존재하며 해당 기술을 가진 개인에 대한 수요가 줄어들 것으로 보이진 않습니다. 또한 Burch Works의 2021년 애널리틱스 전문가 및 데이터 과학자 설문조사에 따르면 전염병에도 불구하고 평균 급여가 여전히 높기 때문에 이러한 전문직에 대한 경쟁이 치열할 것으로 보입니다.
MIT Sloan에 따르면 이미 최고 데이터 책임자(CDO)를 고용하고 있는 기업은 데이터 애널리틱스에 필수적인 방침 및 기술을 데이터 과학 영역 외부 직원에게 교육함으로써 이 문제를 해결할 수 있습니다. 데이터 과학 분야에서 종사하는 많은 전문가들은 해당 분야에서 학위를 취득하지 않고 다른 업종에서 전환했거나 실무에서 학습했다는 점이 특징입니다. 효과적인 CDO의 관리 하에 기업은 직원들을 "시민 데이터 과학자"로 양성하고 애널리틱스 중심 문화를 개발할 수 있습니다. 데이터 전문가와 과학자 부족 현상이 지속된다면 점점 더 많은 조직이 이러한 전략을 채택할 것입니다.
이 네 가지 트렌드가 데이터 애널리틱스에서 벌어지는 유일한 현상이 아니며 테라데이타는 이 모두를 부지런히 추적하고 있습니다. 블로그에서 매입과 관련된 애널리틱스의 중요성, 5G 기술의 임베디드 애널리틱스 접근 방식 등에 대해 알아보세요.