빅 데이터란 무엇이며 여전히 중요한가요?

"빅 데이터"의 시작

"빅 데이터"라는 용어는 20여 년 전에 컴퓨팅 기계 협회(ACM) 라이브러리에서 처음 언급되었습니다. Michael Cox와 David Ellsworth는 "시각화는 컴퓨터 시스템에 흥미로운 과제를 제공합니다. 데이터 세트는 일반적으로 크기가 매우 크기 때문에, 주 메모리, 로컬 디스크 및 원격 디스크의 용량에도 부담을 줍니다. 우리는 이것을 빅 데이터 문제라고 부릅니다. 데이터 세트가 주 메모리(코어)에 맞지 않거나 로컬 디스크에도 맞지 않을 때, 가장 일반적인 솔루션은 더 많은 리소스를 확보하는 것입니다"라고 설명했습니다. 다시 말해, 당시 빅 데이터 정의는 본질적으로 "가용 하드웨어에서 더 이상 운영할 수 없는 데이터"였습니다.

오늘날, 빅 데이터란?

인터넷, 스마트폰, 사물 인터넷, 클라우드 컴퓨팅이 폭발적으로 증가한 후 20년이 조금 지난 지금, 빅 데이터 정의는 "로컬 디스크"의 한계를 뛰어 넘어 더 확장되었습니다.

Wikipedia에서 빅 데이터는 "기존 데이터 처리 애플리케이션 소프트웨어로 처리하기에는 너무 크거나 복잡한 데이터 세트를 분석하고, 체계적으로 정보를 추출하거나 처리하는 방법에 관한 분야"로 정의하고 있습니다. 일부 전문가들은 빅 데이터를 "4V로 정의합니다: 볼륨(생성된 정보의 양), 다양성(데이터의 다양성), 속도(데이터가 생성되는 속도), 그리고 진실성(생성 및 수집하는 데이터의 무결성 및 정확성).

그러나 많은 사람들에게 이러한 정의는 충분하지 않습니다. Quora 또는 Google에 "빅 데이터란 무엇인가"라는 문구를 입력하면 호기심 많은 학자들이 "데이터가 '빅'이 되기 위해 얼마나 커야 하나요?" 또는 "'빅 데이터'가 일반적인 도구로 처리할 수 없는 데이터라면 어떤 도구가 '일반적인' 도구로 간주됩니까?"와 같은 다양한 답변을 찾을 수 있습니다. 물론 빅 데이터를 올바르게 정의했다손 치더라도, 방대한 양의 데이터 세트를 축적하는 것이 오늘날 기업에 적합한 목표가 될 수 있을까요?

새로운 빅 데이터 정의

2015년 Gartner의 애널리스트 Nick Heudecker는 빅 데이터가 "더 이상 그 자체로 화제가 아니다"라고 썼습니다. 대신 이 용어는 이제 고급 애널리틱스 및 데이터 과학, 비즈니스 인텔리전스, 엔터프라이즈 정보 관리 등을 포함한 여러 가지 다른 개념으로 나눌 수 있습니다. 그는 “빅 데이터를 정의하는 특성은… 더 이상 이색적이지 않습니다. 오히려 일반적입니다. 기술 환경은 계속해서 빠르게 변화하고 있지만, 새로운 옵션은 점점 더 구식처럼 보이고 기존 옵션은 빠르게 진화하고 있습니다"라고 썼습니다. Heudecker에 따르면, 빅 데이터를 단순히 "수행"하는 것이 아닌, "실제 비즈니스 요구 사항, 인프라 영향 및 엔터프라이즈 아키텍처를 진화하는 방법"에 대해 더 많이 고민하는 것이 더 나은 접근 방식입니다.

이것은 테라데이타에서 기업이 데이터로부터 실질적인 결과를 얻을 수 있도록 지원하는 유용한 프레임워크로 자리 잡았습니다. 우리는 빅 데이터를 실제로 비즈니스를 발전시키고 가치를 창출하는 활동의 관점에서 생각하는 것이 가장 이상적이라고 생각합니다. 엔터프라이즈는 빅 데이터 준비 및 로드에 너무 많은 시간과 노력, 비용을 지출하면서, 애널리틱스를 적용하여 차별화할 수 있는 통찰력을 찾는 데는 충분한 리소스를 쓰지 않는 경우가 너무 많습니다.

빅 데이터는 하나의 접근 방식이나 도구가 아닙니다. 예를 들어 어떤 상황에서는 시각화가 필요한 반면 다른 상황에서는 연결된 애널리틱스가 정답일 수 있습니다. 빅 데이터의 다른 많은 것과 마찬가지로 비즈니스 문제와 목표로 귀결됩니다. 사용자의 요구 사항이 다음과 같은지 알아보세요:

• 시장 데이터의 시간적 패턴 또는 지리적 관점?

• 기계 로그 또는 센서 데이터의 절차적 통찰력?

• 단일 제품, 여러 제품 또는 아직 출시되지 않은 제품에 대한 행동 패턴의 상관관계?

빅 데이터는 종종 예측 기능과 추천 엔진과 관련됩니다. 그러나 이는 또한 시장 민감도에 따른 운영 조치에 관한 것이기도 합니다. 사람과 프로세스 간의 관계의 구조와 특성에 대해 더 깊이 이해하고 패턴을 정의하여 사용자 정의된 결과를 얻을 수 있습니다.

결국 빅 데이터 정의는 특정 기업이 이를 사용하는 방식에 달려 있습니다. 전문가들이 기업이 빅 데이터가 아닌 데이터 최소화와 스마트 데이터에 초점을 맞춰야 하는지 논의할 때, 데이터를 활용해 비즈니스 가치를 창출하는 기업은 성공할 것입니다. 빅 데이터를 작동시키려면 현재 데이터 스트림과 리포지토리를 검사할 뿐만 아니라 특정 비즈니스 목표, 고객 행동 컨텍스트 및 장기 시장 동향을 설명할 수 있는 전략적 설계와 사려 깊은 아키텍처가 필요합니다.