Subscribe to the Teradata Blog

Get the latest industry news, technology trends, and data science insights each week.



I consent that Teradata Corporation, as provider of this website, may occasionally send me Teradata Marketing Communications emails with information regarding products, data analytics, and event and webinar invitations. I understand that I may unsubscribe at any time by following the unsubscribe link at the bottom of any email I receive.

Your privacy is important. Your personal information will be collected, stored, and processed in accordance with the Teradata Global Privacy Policy.

클라우드의 엔터프라이즈 데이터 운영 체제: 필요하지만 충분하지 않음

클라우드의 엔터프라이즈 데이터 운영 체제: 필요하지만 충분하지 않음
클라우드는 "다른 사람의 서버 임대"를 의미했지만 21st Century Enterprise 컴퓨팅 솔루션을 설계하고 제공하는 방법을 정의하는 일련의 아키텍처 및 디자인 패턴을 나타내는 것이 점점 더 많이 증가하고 있습니다. 데이터 및 분석 플랫폼 솔루션의 경우 서비스, API 및 데이터 제품 측면에서 솔루션을 다시 생각하는 것을 의미합니다.

클라우드의 변경 사항은 무엇입니까? 모두! 컴퓨팅, 스토리지 및 네트워크 서비스는 코드로 구성되며 주문형으로 사용할 수 있습니다. 필요에 따라 서비스를 시작, 중지 및 확장할 수 있습니다. 작업은 기본적으로 자동화됩니다. PAYG 가격 책정 모델은 위험을 제한하고 신속한 실험을 가능하게 하여 진입 장벽을 낮추고 가치 대비 시간을 개선합니다. 아마도 가장 중요한 것은, 잘 정의 된 인터페이스 ("API")와 컴포지토리 서비스의 풍부한 생태계는 서비스를 호출하고 연결하여 중요한 비즈니스 프로세스를 캡슐화하는 재사용 가능한 프로세스를 만들 수 있도록하여 시스템 개발을 "함께 스냅"할 수 있게 합니다. 거대한 경제 불확실성의 시기에, 점점 더 중요한 것은 가치와 민첩성입니다. "DataOps" 방법과 결합된 클라우드 아키텍처는 디지털 변환 프로젝트가 최악의 경우 전혀 관련이 없는 데이터와 분석 제품을 민첩하고 점진적으로 개발할 수 있습니다.

개념적으로, 당신은이 것의 대부분이 새로운 아니라고 주장 할 수 있습니다. 서비스 지향 아키텍처 운동, 그 앞에 나온 객체 지향 프로그래밍 혁명, 그리고 50대와 60년대로 거슬러 올라가는 구조화 된 프로그래밍 운동조차도 모두 동일한 목표를 많이 공유했습니다. 그러나 영국 총리로서 한때 유명한 "중요한 것은 효과가 있다"고 말했습니다. 클라우드 설계 패턴은 매우 많은 사용 사례에 대해 잘 작동할 뿐만 아니라 신속하고 경제적으로 확장되는 것으로 나타났습니다. 이것이 그들이 중요한 이유입니다.

내구성이 뛰어나고 유연한 클라우드 개체 스토리지는 이미 조직에 "모든 데이터, 모든 형식" 유연성을 제공하고 있습니다.  그리고 그것은 경제적으로 그렇게, 조직이 무기한 "차가운"데이터를 유지할 수 있도록 - 또는 적어도, 비즈니스가 필요로하고 규제 기관이 허용하는 한. 그러나 안정적이고 내구성이 뛰어난 개체 스토리지는 또한 고가용성 및 백업 및 복구 솔루션과 운영을 획기적으로 단순화하고 "엔터프라이즈 데이터 운영 체제"의 배포를 지원함으로써 페타바이트 규모로 급진적인 아키텍처 를 단순화할 수 있게 합니다.

물론, 데이터를 저장하는 것은 가치가 아닌 비용을 추가하고 운영 체제는 성공적인 컴퓨팅 플랫폼의 하나의 구성 요소일 뿐이므로 클라우드 분석 아키텍처에는 데이터를 처리하고 가치를 창출할 수 있도록 엔터프라이즈 데이터 OS에 직접 읽고 쓸 수 있는 연결 처리 엔진이 포함됩니다. 대부분의 경우 이러한 가공 엔진은 내구성과 경제성이 아닌 확장성과 성능에 최적화된 형식으로 통합 및 모델링된 데이터의 로컬 복사본을 유지관리합니다. 그러나 플러그 가능한 처리 엔진도 개체 저장 계층에 직접 읽고 쓸 수 있으므로 개체 저장 계층에서 데이터를 로드하고 보관하고 탐색 및 검색 워크로드를 지원하기 위해 동적으로 그리고 런타임에 쿼리및 결합할 수 있습니다. 이러한 데이터 백본으로 데이터가 점점 더 스트리밍되고 있는 지금, 즉 데이터 운영 체제에 연결할 수 있는 모든 응용 프로그램 이나 플랫폼이 엔터프라이즈 전체의 데이터에 연결되고 실시간으로 거의 연결됩니다. 이를 통해 조직은 수십 년 된 데이터 수집 프로세스를 현대화하여 분석이 주로 일괄 처리 중심에서 이벤트 중심으로 이동할 수 있도록 하는 기회를 제공하며, 이는 점점 더 많은 비즈니스 및 비즈니스 프로세스가 디지털화되고 온라인으로 이동함에 따라 중요한 관심사입니다.

지금까지는 좋았어요. 하지만 "하지만"이 있습니다.

대규모 엔터프라이즈 데이터 관리에 대한 배경이 있는 경우 대형 클라우드 서비스 공급자(CSP)가 선전하는 참조 아키텍처 및 디자인 패턴을 살펴보고 "이 그림에 무엇이 잘못되었는지" 자문해 보십시오. 서비스 풍부, API가 많이 있지만 데이터 제품은 S3 호환 버킷보다 조금 더 많이 묘사되는 경우가 많습니다. 그리고 이는 건축가와 디자이너세대가 잘못된 결정을 내릴 수 있도록 이끌고 있으며, 이는 기술적 부채의 급속한 축적으로 이어지며 결국 사업을 가속화하기보다는 사업을 둔화시킵니다.  각 파이프라인이 지원하는 분석 비즈니스 프로세스에 만 접착되고 하드 와이어링된 데이터는 반드시 더 많은 스토브파이프와 더 많은 사일로를 생성하게 되며, 이 시점에서 클라우드 설계 패턴은 덜 "선순환"과 더 많은 "악순환"이 될 수 있습니다.

데이터 및 분석은 비용을 절감하거나 고객 만족도를 높이거나 새로운 성장을 유도하여 성과를 개선하는 데 조직에서 사용할 때만 실질적인 가치를 지니고 있습니다. 엄청난 경제적 불확실성의 시대에 중요한 것은 가치와 민첩성을 가치로 할 때입니다. 내가 더 빨리 가는 것을 아는 가장 좋은 방법은 불필요한 작업을 제거하고 나머지의 가능한 한 많이 자동화하는 것입니다. 데이터 제품을 다시 사용하는 것은 궁극적인 "불필요한 작업 제거" 플레이이며, 성공적인 조직이 실험 및 테스트에서 생산 및 규모의 예측 분석 배포로 빠르게 이동할 수 있는 방법입니다.

자체적으로 엔터프라이즈 데이터 운영 체제는 충분하지 않고 필요합니다: 원시 데이터를 데이터 제품으로 구체화하고 처리해야 더 많은 데이터를 활용하여 비즈니스 결과를 향상시킬 수 있습니다. 종단 간 비즈니스 프로세스를 최적화하려면 통합 및 연결된 데이터가 여전히 필요합니다.  민첩성과 가치 창출 시간은 재사용을 위해 데이터 제품을 설계하고 설계해야 하며, 재사용하려면 비즈니스를 가능하게 하는 분석 사용 사례, 사용 방법 및 필요한 특성을 지원하기 위해 필요한 데이터 제품에 대해 비판적으로 생각해야 합니다.

많은 Hadoop 기반 데이터 레이크는 조직이 데이터 관리를 강조하지 않아 실패했습니다. 데이터 및 분석이 클라우드로 마이그레이션됨에 따라 데이터 관리에 대한 laissez-faire 접근 방식을 계속 취하는 조직은 클라우드 개체 저장소 기반 데이터 레이크를 통해 두 번째로 실패할 수 있습니다.

이 모든 의미는 클라우드 데이터 아키텍처를 올바르게 얻는 것이 분석 프로세스를 지원하는 데 필요한 데이터 제품, 수행하는 역할 및 해당 역할이 요구하는 기능적 및 비기능적 특성을 이해하는 데 서 있다는 것입니다. 또한 어떤 데이터를 결합하고 다시 사용할 지 이해하여 중앙 집중화 및 통합 비용을 발생시켜야 하며, 어떤 데이터를 연결해야 하는지, 마찰없는 ETL 처리를 가능하게 하고, "언제 어디서나" 쿼리 자유를 제공하여 더 많은 사용자가 생태계에 있는 모든 곳에서 더 많은 데이터에 액세스할 수 있도록 합니다.

아키텍처 패턴을 "연결된 클라우드 데이터 웨어하우스"라고부르고 다음 번에 는 더 많은 아키텍처 패턴을 호출합니다.
Portrait of Martin Willcox

(Author):
Martin Willcox

Martin leads Teradata’s EMEA technology pre-sales function and organisation and is jointly responsible for driving sales and consumption of Teradata solutions and services throughout Europe, the Middle East and Africa. Prior to taking up his current appointment, Martin ran Teradata’s Global Data Foundation practice and led efforts to modernise Teradata’s delivery methodology and associated tool-sets. In this position, Martin also led Teradata’s International Practices organisation and was charged with supporting the delivery of the full suite of consulting engagements delivered by Teradata Consulting – from Data Integration and Management to Data Science, via Business Intelligence, Cognitive Design and Software Development.

Martin was formerly responsible for leading Teradata’s Big Data Centre of Excellence – a team of data scientists, technologists and architecture consultants charged with supporting Field teams in enabling Teradata customers to realise value from their Analytic data assets. In this role Martin was also responsible for articulating to prospective customers, analysts and media organisations outside of the Americas Teradata’s Big Data strategy. During his tenure in this position, Martin was listed in dataIQ’s “Big Data 100” as one of the most influential people in UK data- driven business in 2016. His Strata (UK) 2016 keynote can be found at: www.oreilly.com/ideas/the-internet-of-things-its-the-sensor-data-stupid; a selection of his Teradata Voice Forbes blogs can be found online here; and more recently, Martin co-authored a series of blogs on Data Science and Machine Learning – see, for example, Discovery, Truth and Utility: Defining ‘Data Science’.

Martin holds a BSc (Hons) in Physics & Astronomy from the University of Sheffield and a Postgraduate Certificate in Computing for Commerce and Industry from the Open University. He is married with three children and is a solo glider pilot, supporter of Sheffield Wednesday Football Club, very amateur photographer – and an even more amateur guitarist.

View all posts by Martin Willcox

Teradata Vantage를 통해 복잡한 데이터와 분석을 해답으로 전환하십시오.

Contact us