개요
엔터프라이즈 리더가 비즈니스 모델, 프로세스 및 문화를 디지털 방식으로 변화시키는 데 주력함에 따라 IT는 비즈니스가 정상적으로 작동할 수 있도록 지원할 뿐만 아니라 이러한 목표를 추진하는 서비스를 제공해야 할 임무를 맡고 있습니다. 새롭게 진화하는 비즈니스 요구를 충족하려면 비용을 절감하는 인프라를 최적화하는 것뿐만 아니라 비즈니스 팀의 역량을 강화하는 애플리케이션을 구축하여 직접적인 가치를 창출하는 것이 필요합니다. Gartner 부사장 Dennis Smith는 "애플리케이션 개발은 변화의 특급 열차에 뛰어 들 수 있는 기회를 제공합니다"라고 했습니다.
최근 몇 년 동안 이러한 새로운 비즈니스 요구에 부응하기 위한 하나의 일환으로 데이터 엔지니어링이라는 새로운 분야가 등장했습니다. 데이터 과학자와 마찬가지로 데이터 엔지니어는 코드를 작성하고 매우 분석적이며 데이터 시각화를 생성합니다. 그러나 데이터 과학자와 달리 이 역할은 인프라, 프레임워크 및 서비스뿐만 아니라 애플리케이션도 빌드합니다. 이 역할은 방대한 양의 다양한 데이터를 수집하고 분석하는 데 도움이 필요한 비즈니스 사용자의 요구를 보다 직접적으로 충족합니다. Preset의 CEO이자 설립자인 Maxime Beauchemin은 "데이터 엔지니어링 분야는 소프트웨어 엔지니어링에서 더 많은 요소를 가져오는 비즈니스 인텔리전스 및 데이터 웨어하우징의 상위 집합으로 생각할 수 있습니다" 라고 했습니다.
데이터 엔지니어링 팀은 엔터프라이즈에서 다양한 역할을 수행합니다. 다음은 비즈니스를 지원하고 추진할 수 있는 가장 일반적인 10가지 방법입니다.
1. 파운데이션 설계자
AI, 딥 러닝 및 실험과 같은 데이터 과학 전략을 수행하기 전에 데이터 엔지니어는 데이터 수집, 이동, 저장, 탐색 및 변환을 위한 토대를 마련합니다. 데이터 과학 및 AI 어드바이저인 Monica Rogati는 "AI 요구 계층 구조"에서 이러한 기능을 하위 3 계층에 배치하여 먼저 완료해야 함을 나타냅니다.
2. 빌더
Beauchemin은 Facebook에서 "새로운 기술, 새로운 작업 방식, 새로운 도구를 개발"하면서 데이터 엔지니어링의 "빌더" 측면을 발견했습니다. 공식적인 데이터 인프라 팀이 없는 소규모 조직에서는 데이터 엔지니어 역할에 엔터프라이즈의 데이터 인프라 구축 및 실행이 포함될 수 있습니다. 대기업의 데이터 인프라 및 엔지니어링 팀은 이러한 책임을 공유하고 때로는 이러한 프로세스를 자동화하여 더 높은 수준의 전략적 프로젝트에 협력할 수 있습니다.
3. 소프트웨어 개발자
모델이 대기업에서 유용하려면 분석가가 대량의 데이터와 함께 모델을 사용하거나 거의 실시간으로 이벤트 주도 방식으로 모델을 실행할 수 있어야 합니다. 예를 들어 판매 예측 모델의 출력은 기업의 트랜잭션 시스템 중 하나로 피드백되어야 합니다. 테라데이타의 EMEA 기술 담당 부사장은 이 모든 모델이 "갈색 종이와 끈으로 랩에서 구축"된 것이 필요하다고 했으며 방대한 양의 데이터를 자주 처리하는 데 사용됩니다.
이러한 수준의 성능과 확장성을 달성하려면 ETL 소프트웨어에서 필요한 복잡성을 추상화하기 위해 코딩할 수 있는 데이터 엔지니어가 필요합니다. Beauchemin에 따르면, "기존 ETL 도구에 의해 노출된 추상화는 대상에서 벗어나며 ... 이 솔루션은 ETL 프리미티브(예: 소스/대상, 집계, 필터링)를 드래그 앤 드롭 패션에 노출시키지 않는 것입니다. 필요한 추상화는 더 높은 수준입니다."
4. 거버넌스 검증자
데이터 웨어하우스는 최근 몇 년 동안 데이터 과학자, 분석가 및 소프트웨어 엔지니어가 개발, 일상적인 운영 및 진화에 기여하는 보다 공공적이고 협업적인 기관이 되었습니다. 기업 데이터에 대한 액세스를 개방하면 혁신을 가속화할 수 있지만 데이터 세트의 명확한 소유자와 데이터 사용 기준이 명확하지 않으면 혼란이 발생할 수 있습니다.
여기가 바로 데이터 엔지니어가 도움을 줄 수 있는 곳입니다. 그들은 명확하게 정의되고 측정된 SLA, 엄격하게 준수되는 명명 규칙, 고품질 메타데이터 및 문서, 그리고 모범 사례를 통해 코어 스키마를 따르는 데이터 웨어하우스 내에서 클러스터를 "소유"할 수 있습니다.
5. "우수 센터" 전문가
데이터 엔지니어는 다른 팀이 데이터 웨어하우스를 가장 잘 사용하고 회사의 데이터 및 도구에 능숙할 수 있도록 교육 프로그램을 이끌 수 있습니다.
6. 사서
데이터 엔지니어는 메타데이터를 분류하고 구성하여 웨어하우스에서 데이터를 올바르게 정리하거나 추출하는 방법을 정의할 수 있습니다.
7. 비즈니스 애널리스트
데이터 엔지니어링 역할이 확장되고 있지만 포트폴리오와 대시보드 작성 및 실행과 같은 비즈니스 인텔리전스 작업이 여전히 포함될 수 있습니다. 또한 두 팀의 언어를 구사하고 효과적으로 의사 소통할 수 있기 때문에 비즈니스와 데이터 과학 부서 간의 유용한 교량 역할을 할 수 있습니다.
8. 성능 튜너
기업은 데이터 인프라에 그 어느 때보다 많은 투자를 하고 있으며 데이터 엔지니어가 성능 최적화에 집중할 수 있도록 동기와 리소스를 제공하고 있습니다. 데이터 엔지니어는 비즈니스가 장기적으로 지속할 수 있도록 더 적은 자원으로 더 많은 작업을 수행하여 리소스 활용 및 비용 절감에 집중해야 합니다.
9. 데이터 통합자
기업은 SaaS 플랫폼에 점점 더 많이 의존하고 있지만 공급자는 회사의 데이터 웨어하우스에 원활하게 통합되는 서비스나 전문 지식을 제공하지 않을 수 있습니다. 데이터 엔지니어는 이 프로세스를 작동하고 기업이 모든 데이터에 대한 통합적이고 완전한 상황을 파악할 수 있도록 지원하는 기술을 보유하고 있습니다.
10. 서비스 공급자
종종 데이터 엔지니어는 일반적으로 수동 작업을 자동화하는 서비스와 도구를 제공합니다. 예를 들어 데이터 수집, 메트릭 계산, 메타데이터 관리, A/B 테스트 등을 자동화하여 다른 엔터프라이즈 기능의 작업을 보다 쉽게 수행할 수 있습니다.
기업이 디지털 비즈니스 요구 사항을 충족하기 위해 변화함에 따라 데이터 중심의 유지가 중요합니다. 데이터와 도구를 준비, 빌드 및 통합하기 위해 데이터 엔지니어에 의존하는 조직은 애자일(Agile)하고 통합적인 데이터 중심 문화를 만들 것이며, 이는 디지털 혁신의 궁극적인 목표입니다.