분석 에코시스템에서 분리된 데이터를 활용하는 모범 사례

모든 회사는 기존 트랜잭션 시스템(ERP, EHR, 청구/회계 등)에서 유지 관리되지 않는 데이터로 어려움을 겪고 있습니다. 이러한 회사 내에서 스프레드시트(Excel)는 "분리된 데이터"를 유지 관리하고 저장하는 사실상 도구 역할을 합니다. 분리된 데이터는 여러 가지 의미를 내포할 수 있지만, 여기서 분리된 데이터는 트랜잭션 시스템에 홈이 없지만 비즈니스를 실행하는 데 중요한 데이터를 나타냅니다. 경우에 따라 이 분리된 데이터를 "사용자 관리 데이터"라고 합니다. 다음은 분리된 데이터의 실제 예입니다.

• 주요 소매업체는 Excel을 사용하여 매장 내 타사 매장(예: 대형 소매점 내 Starbucks 및 McDonalds)을 지원하기 위해 매장 공간에 대한 세부 정보를 유지 관리합니다. 이 데이터는 각 매장 또는 지역 관리자가 작성하고 매월 말까지 업데이트하여 마감 프로세스를 완료해야 합니다. 스프레드시트는 SharePoint/Teams에 저장된 후 FTP/ETL을 통해 분석 플랫폼으로 전송됩니다. 오류는 일반적이며 최종 보고서의 이상 항목에서만 발견되는 경우가 많습니다. 적시에 마감을 지원하는 것이 주요 과제입니다.
• 온라인 약국에서는 Excel을 활용하여 사용 가능한 약품, 대체 약품 및 과거/미래 가격 책정에 대한 정보를 유지 관리합니다. 스프레드시트에는 수백 개의 규칙과 유효성 검사가 포함되어 있습니다. BI 및 애널리틱스를 위해 이 데이터 세트의 일부를 엔터프라이즈 데이터 저장소에 업로드해야 합니다.
• 농화학 생명공학 제조업체는 Excel을 사용하여 현재 구조를 유지 관리하고 미래의 영업 조직 구조를 계획합니다. 이 시나리오에서 스프레드시트는 복잡하며 커미션을 계산하고 향후 판매 범위와 유사한 수익, 비용, 마일/지역 범위 등의 균형을 잡기 위해 ERP 및 데이터 웨어하우스 시스템의 데이터가 필요합니다. 이 프로세스는 반복적이며 완료하는 데 최대 6개월이 걸립니다. 많은 부서와 팀이 전체 프로세스에 참여하고 변경 사항에 서명/승인해야 합니다.
• 또 다른 대형 제조업체는 데이터에 태그를 지정하는 데 어려움을 겪고 있습니다. 예를 들어, 특정 할인 행사에 노출된 모든 고객 및/또는 제품을 식별해야 하는 경우가 있습니다. 사용자는 고객 또는 제품 데이터를 검색, 필터링 및 Excel로 다운로드합니다. 그런 다음 사용자는 속성을 추가하여 제품 또는 고객이 할인 행사에 참여했는지 여부를 지정합니다. 유사한 요청에서 이 프로세스를 반복합니다. 결과적으로 Excel 스프레드시트는 어디에나 존재하며 스프레드시트 세계에 대한 넓은 지식은 필수적입니다.

이러한 각 시나리오는 핵심 비즈니스 프로세스를 활성화하고 비즈니스 의사 결정을 내리는 데 매우 중요합니다. 이러한 예 중 어느 것도 ERP, EHR, 청구 또는 기타 트랜잭션 시스템에 속하지 않으며 이러한 시스템을 사용자 정의하기 위한 노력과 비용을 정당화하지도 않습니다. 이런 Excel 기반 데이터 없이, 회사는 기말 재무를 마감, 영업 팀에 임금을 지급, 고객에게 가격 정보를 제공, 또는 최적의 성과를 위해 영업 팀을 구성할 수 없습니다. 또한 비즈니스 사용자는 어떤 사항을 변경할 때 추가 "IT 프로젝트"를 생성하지 않고 신속하게 변경할 수 있는 방법을 점점 더 요구하고 있습니다. 오늘날 기업들은 민첩하고 적극적인 기업이 되기를 원합니다. 그러기 위해서는 사용 가능한 도구, 기술 및 심층 애널리틱스를 활용해야 합니다. 평소와 같은 방식의 비즈니스는 더 이상 충분하지 않습니다.

간단히 말해서, 분리된 데이터는 종종 보다 효율적인 핵심 비즈니스 프로세스를 가능하게 하기 위해 많은 회사가 어려움을 겪는 근본 원인입니다. 다음 목록은 보다 효율적으로 분리된 데이터를 사용하는 것에 관한 몇 가지 문제를 나타냅니다:

• 규정 준수 부족
• 보안
• 거버넌스
• 데이터 품질 문제
• 스케일/성능
• 계보/감사 기록
• 협력 문제
• 데이터 및 프로세스 소유자에 의한 변경 작업의 용이성과 속도

몇 가지 좋은 소식이 있습니다! 도구는 몇 가지 과제를 해결하기 위해 진화했습니다. 조직에서 사용하는 몇 가지 일반적인 도구와 도구를 살펴볼 때 주의할 점을 알아봅시다.

지난 10년 동안 SharePoint, Teams 및 기타 도구는 분리된 데이터를 저장하고 액세스할 수 있는 더 쉬운 방법을 제공했지만, 스토리지 및 액세스 문제밖에 해결하지 못했습니다. SharePoint/Teams에 저장된 데이터는 정기적으로 더 많은 액세스가 가능한 위치로 전송/이동해야 합니다. 이는 종종 데이터가 EDW(Enterprise Data Warehouse), Data Lake, Object Store 등으로 이동하는 것을 의미합니다. 이 데이터는 엔터프라이즈 보고서, 애널리틱스 모델 및 기타 계획 애플리케이션에서 사용할 수 있어야 합니다. 따라서 규정 준수, 보안, 거버넌스, 데이터 품질, 계보 및 규모 문제는 계속 남게 됩니다.

이러한 다른 문제를 해결하기 위해 몇 가지 다른 옵션을 살펴보겠습니다. 이 목록에는 도구를 평가할 때 찾아야 할 주요 기능이 포함되어 있습니다:

• 우수한 최종 사용자 경험을 제공하는 웹 기반 도구입니다. 브라우저 기반 기능을 사용하면 최종 사용자가 설치하거나 클라이언트 수준 세부 정보를 유지 관리할 필요가 없습니다. 또한 웹 기반 도구를 외부 주요 파트너, 고객 또는 공급업체로 보다 쉽게 확장할 수 있습니다.
• 사용자가 Excel 사용에 익숙해짐에 따라 Excel을 통해 쉽게 다운로드 및 업로드할 수 있습니다.
• 비즈니스 규칙 엔진 및 코딩 없이 규칙을 구성하는 옵션을 통한 데이터 품질 관리.
• 데이터 이동을 최소화/제거하기 위해 선택한 데이터 저장소에서 직접 작동합니다. (그리고 빠른 속도로 비즈니스를 변화하는 것이 목표라는 것을 기억하십시오. 도구가 여러 데이터 저장소와 통신할 수 있다면 더 좋습니다).
• 구성하기 쉽고 필요할 때 조직의 특정 프로세스와 요구 사항을 지원할 수 있을 만큼 충분히 유연한 셀프 서비스 도구.
• 비기술적 비즈니스 사용자도 구성할 수 있는 강력한 승인 및 워크플로 기능을 제공합니다.
• 조직의 인증 도구에 통합할 수 있는 기능을 통해 강력한 액세스 제어 및 보안을 제공합니다.
• 감사 추적 및 이력을 제공(변경된 사람, 변경된 항목, 변경된 이유 등)
• 데이터의 구조 구성(특성, 테이블, 뷰, UI 등 변경/추가)을 쉽게 변경할 수 있습니다.
• 테라데이타의 Reference Data Manager(RDM)는 나열된 모든 기능을 제공합니다. 테라데이타는 10년 전에 업계 최초의 RDM 솔루션 중 하나를 출시했습니다. 다른 RDM 도구는 코드 및 관계 관리에만 초점을 맞추고 있지만 테라데이타는 기본 코드 및 관계 관리 기능을 활용하여 보다 광범위한 데이터 관리 기능을 제공합니다. 예를 들어 테라데이타 RDM은 모든 데이터 테이블에 대한 데이터 유지 관리 UI 및 웹 서비스를 자동으로 생성합니다. 자동 생성된 웹 UI의 예는 아래에 표시됩니다. 또한 테라데이타 RDM은 스프레드시트를 테이블로 신속하게 변환할 수 있습니다.

첫 번째 섹션에 나열된 각 비즈니스 사용 사례 시나리오에서 분리된 데이터에 대한 문제를 아래 단계를 통해 테라데이타 RDM이 신속하게 해결했습니다:

1. 각 시나리오를 테이블, 뷰 등의 컬렉션으로 모델링합니다. 이러한 테이블/뷰는 원래 Excel 스프레드시트와 매우 유사합니다.
2. 각 테이블 웹 UI를 자동으로 생성하는 참조 데이터 셀프 서비스 도구(RDM)를 활용합니다. 웹 UI는 코드 없이 테이블 유지 관리 및 Excel을 통한 업로드/다운로드를 지원합니다. Excel 업로드 프로세스는 데이터 품질 관리(데이터 모델 및 애플리케이션 수준 비즈니스 규칙 모두)를 지원합니다.
3. 품질 검사가 필요한 특성은 분리되고 데이터 모델 로직이 품질을 관리할 수 있는지 또는 다른 규칙/로직이 필요한지(예: 데이터 유형 관리 또는 유효한 값 목록 관리) 여부를 결정합니다.
4. 비즈니스 규칙(일반적으로 SQL)은 비데이터 모델 규칙(유효한 범위, 허용 오차 등)에 대해 정의되었습니다. 테라데이타 RDM은 코딩 없이 SQL 규칙을 생성할 수 있는 비즈니스 규칙 마법사를 제공합니다.
5. 각 특성에 대한 데이터 소유권이 식별되어 역할 기반 액세스 제어에 통합되었습니다. 셀프 서비스 도구는 행 및 열(셀) 교차점에 대해 세분화된 역할 기반 액세스를 지원합니다.
6. 배포 6개월 이후, 위 예의 사용자 90%는 더 이상 Excel을 사용하여 대부분의 업데이트를 수행하지 않습니다. 남은 10%의 사용자는 여전히 대량 데이터 업로드에 Excel을 사용하고 있었습니다.

전반적으로 분리된 데이터 문제는 어려울 수 있습니다. 그러나 올바른 프로세스와 기술을 결합하면 솔루션은 간단합니다.