AI 데이터 모델링이란 무엇인가요?

AI 데이터 모델링이란 무엇인가요?

AI 데이터 모델링은 인공지능과 머신러닝 시스템이 정확하고 일관성 있으며 추적 가능하게 기업 데이터를 처리할 수 있도록 구조화하는 과정입니다. 이 구조는 데이터의 개념적, 논리적, 물리적 설계를 포함하며, 이는 전통적인 데이터 모델링의 세 가지 층과 더불어 AI 워크로드가 의존하는 특징, 임베딩, 벡터 구조에 전념하는 추가 계층을 포함합니다.

AI에서의 모델링은 종종 두 개의 인접한 개념과 혼동됩니다. 첫 번째는 전통적인 데이터 모델링으로, 애플리케이션, 보고, 범용 분석을 위한 비즈니스 엔터티, 속성 및 관계를 표현하는 데 중점을 둡니다. 두 번째는 AI 모델 자체입니다—대규모 언어 모델, 신경망, 그리고 예측이나 출력을 생성하기 위해 데이터를 소비하는 기타 알고리즘들입니다. 이 머신러닝 모델들이 산출물이며; AI 데이터 모델링은 이를 가능하게 하는 준비 과정입니다.

AI 데이터 모델링은 두 가지를 잇는 다리 역할을 합니다. 전통적인 모델링의 엄격함—엔터티, 관계, 무결성—을 AI 워크로드가 요구하는 구조, 방법, 거버넌스로 확장합니다. 이 기능이 없으면 AI 이니셔티브는 신뢰할 수 없는 학습 데이터, 설명할 수 없는 결과, 재현하거나 감사할 수 없는 모델에 의해 정체됩니다.

AI가 데이터 모델링을 할 수 있을까요?

네—AI는 데이터 모델링의 상당 부분을 자동화할 수 있지만, 그 실천을 대체하지는 않습니다. AI 지원 데이터 모델링 도구는 소스 시스템에서 스키마를 자동으로 생성하고, 엔터티 간 관계를 제안하며, 데이터 유형을 추론하고, 기존 데이터베이스를 논리적 모델로 역설계할 수 있습니다. 이러한 능력들은 모델링의 기계적 작업을 의미 있게 가속화합니다.

AI가 할 수 없는 것은 비즈니스 의미를 검증하거나, 거버넌스 정책을 집행하거나, 특정 사용 사례에 어떤 데이터가 중요한지 판단하는 것입니다. AI가 생성한 스키마는 여전히 인간 데이터 아키텍트가 해당 기업이 실제로 비즈니스가 어떻게 운영되는지, 관계가 올바른 의미를 지니는지, 모델이 의도한 분석 또는 AI 결과를 달성하는지 확인해야 합니다. 실제로 AI와 인간 데이터 아키텍트는 협력하여 AI가 반복적인 오버헤드를 제거하고, 아키텍트가 전략을 지휘합니다.

AI에 사용되는 4가지 데이터 모델링 유형

AI 데이터 모델링 기술은 네 가지 유형에서 비즈니스 의도에서 AI 준비 구조로 발전합니다. 처음 세 가지는 전통적인 데이터 모델링에서 익숙한 것들입니다; 네 번째는 AI 특화로, 기업들이 가장 자주 투자를 적게 하는 부분입니다.

개념적 모델링

개념 모델링은 AI 이니셔티브가 데이터를 수집하거나 로드하기 전에 반드시 해결해야 하는 고수준 엔터티, 관계, 비즈니스 질문을 정의합니다. AI 워크로드의 경우, 이 단계는 모델이 생성하려는 결과—수요 예측, 사기 예측, 고객 성향 점수—을 결정하고, 그 결과에 필요한 데이터로 역추적하기 때문에 특히 중요합니다. 강력한 개념 모델은 팀이 잘못된 질문에 대해 정확한 모델을 학습시키는 것을 방지합니다.

논리 모델링

논리 모델링은 개념적 모델을 정규화된 플랫폼 중립적 엔터티, 속성, 관계 구조로 변환합니다. AI의 경우, 논리 모델의 무결성은 학습 데이터 품질에 직접적인 영향을 미칩니다: 소스 시스템 간 불일관한 정의는 모델 간에 일관되지 않는 특징이 됩니다. 잘 설계된 논리 모델은 각 주체(고객, 거래, 자산)에 대한 단일하고 권위 있는 정의를 제공하며, AI 시스템이 모호함 없이 참조할 수 있습니다.

물리 모델링

물리적 모델링은 논리 모델이 특정 플랫폼에서 어떻게 저장되고, 분할되며, 접근되는지를 결정합니다. AI 워크로드의 경우, 물리적 설계는 전통적인 분석을 넘어 두 가지 요구사항을 수반합니다: 대량의 과거 데이터를 고처리량으로 스캔하는 학습 작업과 저지연 기능 조회가 필요한 추론 작업입니다. 물리적 모델은 데이터베이스 내 계산, 파티셔닝 전략, 저장 포맷에 관한 결정이 모델 학습 속도와 추론 비용으로 직접 연결되는 부분입니다.

특징 모델링

특징 모델링은 AI 전용 계층입니다. 이 도구는 기계 학습 알고리즘이 실제로 소비하는 파생 변수들—특징, 임베딩, 벡터 표현—을 정의합니다. 특징으로는 고객의 거래의 7일 연속 평균, 지원 티켓 텍스트의 벡터 임베딩, 또는 제품 계층 구조의 범주별 인코딩이 있을 수 있습니다. 특징 모델링은 이러한 파생 구조가 어떻게 명명되고, 계산되고, 저장되고, 모델 전반에서 재사용되는지, 보통 특징 저장소에서 공식화됩니다. 이 기능이 없으면 조직은 수십 개의 팀이 독립적으로 동일한 기능을 재계산하게 되는데, 이는 AI 생산성에 숨겨진 부담이자 모델 동작의 일관성 없는 주요 원인입니다.

출처: https://www.theregister.com/2007/06/14/data_modelling_layers/ 

AI 데이터 모델링의 핵심 원칙

AI를 위한 데이터 모델링 원칙은 전통적인 모델링의 기초를 확장하여 머신러닝과 생성형 AI 워크로드에 특화된 요구사항을 제공합니다. 다섯 가지 원칙이 AI 준비 대상 기업 데이터와 범용 기업 데이터를 일관되게 구분합니다.

데이터 품질 및 계보

AI 모델은 학습하는 데이터의 품질이나 결함을 증폭시킵니다. 비즈니스 인텔리전스 보고서가 약간의 부정확성으로 흡수할 수 있는 오류들은 생산 모델에서 체계적인 편향이 됩니다. AI 데이터 모델링은 데이터 품질과 계보를 하위 정리가 아닌 1차 설계 요구사항으로 취급합니다. 이는 모델 자체에 계보를 구축하는 것을 의미합니다: 모든 특징과 모든 학습 데이터셋이 소스 시스템, 적용된 변환, 그리고 데이터가 캡처된 시점까지 추적할 수 있습니다.

특징 공학과 재사용

AI에서 가장 비용이 많이 드는 작업은 모델 훈련이 아닙니다; 그 모델들이 소비하는 기능을 공학적으로 만드는 것입니다. AI 데이터 모델링은 여러 모델과 여러 팀이 중복 없이 재사용할 수 있도록 공유되고 규율된 특징 정의를 확립합니다. 기능 저장소, 일관된 명명 규칙, 공유 변환 로직은 기능을 프로젝트별 비용이 아닌 조직 자산으로 만듭니다.

규모 및 데이터베이스 내 성능

엔터프라이즈 AI 워크로드는 방대한 데이터를 다루기 때문에 전통적인 데이터 이동이 비현실적입니다. 웨어하우스, 피처 엔지니어링 환경, 트레이닝 클러스터 간에 테라바이트 분량의 학습 데이터를 이동하는 것은 지연, 비용, 재현성 문제를 야기합니다. 잘 설계된 AI 데이터 모델은 컴퓨팅 인식을 갖추고 있습니다: 가능한 한 데이터베이스 내 특징 엔지니어링, 학습, 점수 매김을 지원하며, 데이터를 고정시키고 이미 데이터가 있는 곳에서 계산이 실행되도록 합니다.

설명 가능성과 추적 가능성

모델 설명 가능성은 일반적인 요구사항이 되었지만, 데이터 설명 가능성도 똑같이 중요하며 종종 간과됩니다. AI 데이터 모델링은 기본적이지만 중요한 질문에 답할 수 있게 해줍니다: 어떤 데이터가 언제, 어떤 출처에서 이 모델을 학습시켰는가? 이것이 모델 거버넌스, 규제 대응, 그리고 모델 배포 후 몇 달 또는 수년 후에도 결과를 재현할 수 있는 능력의 기초입니다.

산업 정렬

범용 데이터 모델은 기업이 모든 AI 이니셔티브에 대해 동일한 기본 구조—고객, 제품, 거래, 청구, 네트워크 이벤트—를 재구축하도록 강요합니다. 검증된 산업 청사진과 데이터 모델을 일치시키면 초기 비용을 줄이고, AI 팀이 첫날부터 기반으로 검증된 스키마를 갖게 됩니다.

전통적인 데이터 모델링 vs. AI 데이터 모델링

전통적인 데이터 모델링과 AI 데이터 모델링은 동일한 기초 관행을 공유하지만, 기업 데이터가 구축되고 관리되며 소비되는 여러 측면에서 차이가 있습니다. 아래 표는 주요 차이점을 요약한 것입니다.

전통적인 데이터 모델링은 보고, 애플리케이션, 그리고 거버넌스된 분석에 여전히 필수적입니다. AI 데이터 모델링이 이를 대체하는 것은 아니며, 머신러닝과 생성형 AI 워크로드의 추가 요구를 충족시키기 위해 동일한 기반을 확장하는 것입니다.

기업 AI 데이터 모델링에 대한 고려사항

기업들은 소규모나 신생 환경에서는 나타나지 않는 AI 데이터 모델링 과제에 직면해 있습니다. 조기에 대응하는 것이 AI 이니셔티브의 확장 여부를 결정합니다.

• 레거시 스키마 부채. 대부분의 기업은 이미 수십 년간 운영 및 분석 데이터 모델에 투자해 왔습니다. AI 이니셔티브는 이런 것들을 처음부터 재구축하는 것을 거의 정당화하지 않습니다. 실질적인 방법은 기존 모델을 대체하기보다는 AI 전용 레이어(특징 정의, 학습 뷰, 벡터 확장 등)로 확장하는 것입니다.
• 하이브리드 구조화 모델링과 벡터 모델링. 엔터프라이즈 AI 워크로드는 전통적인 구조화된 데이터(고객 기록, 거래, 제품 계층 구조)와 벡터 데이터(텍스트 임베딩, 이미지 표현)를 모두 필요로 합니다. 현대 AI 데이터 모델은 두 패러다임을 별도의 시스템으로 취급하기보다는 하나의 일관된 구조 내에서 수용해야 합니다.
• AI 생애주기 전반에 걸친 학습 데이터 계보. 규제 산업은 점점 더 조직이 생산 모델이 어떤 데이터를 학습했는지 즉시 답변하도록 요구하고 있습니다. 훈련 데이터 계보는 배포 후 재조정할 수 없습니다; 데이터 모델에 처음부터 설계되어야 합니다.
• 데이터 엔지니어링과 데이터 사이언스 사이의 조직적 경계선. 대부분의 기업에서 데이터 엔지니어는 데이터 모델을 소유하고, 데이터 과학자는 기능을 소유합니다. 공유된 정의와 통제된 핸드오프가 없으면 특징들이 소스 데이터와 멀어지고, 모델은 재현 불가능해지며, 팀은 버전 조정에 낭비하는 사이클을 낭비하게 됩니다. AI 데이터 모델링은 두 분야 간의 인터페이스를 공식화합니다.

산업 데이터 모델이 AI 가속기로서

대부분의 기업은 새로운 AI 이니셔티브마다 도메인 모델의 60%에서 70%를 처음부터 다시 구축합니다. 미리 구축된 산업 데이터 모델은 특정 산업 내에서 데이터가 어떻게 조직되는지에 대한 검증된 제3 정규 형태 청사진을 제공함으로써 초기 비용을 축소합니다.

Teradata는 수십 년간의 기업 참여를 바탕으로 개발된 산업 데이터 모델을 제공하며, 각 산업 분야의 고객과 검증된 결과입니다:

• 테라데이터 금융 서비스 논리 데이터 모델(FSLDM) — 고객, 상품, 거래 및 위험 영역을 아우르는 은행, 보험, 자본 시장을 위한 종합 청사진입니다.
• 테라데이터 커뮤니케이션 데이터 모델(CDM) — 가입자, 네트워크, 사용량 및 청구 데이터를 포함하는 통신 전용 모델입니다.
• Teradata 헬스케어 산업 데이터 모델 — 지불자, 제공자, 생명과학 데이터를 위해 설계된 모델입니다.

가속기로 사용되는 이 산업 데이터 모델은 기초 모델링 작업을 없애고 데이터 엔지니어링과 데이터 과학 팀이 함께 확장할 수 있는 일관된 출발점을 제공함으로써 AI 가치 실현 시간을 분기에서 주로 단축시킵니다.

테라데이터가 AI 데이터 모델링에 접근하는 방식

테라데이터의 AI 데이터 모델링 접근법은 기업용 AI 워크로드가 필요로 하는 네 가지 기능을 결합합니다: 출발점으로서의 사전 구축된 산업 데이터 모델, 데이터베이스 내 특징 엔지니어링, 데이터 이동 없이 끝까지 학습 및 점수 부여, 그리고 AI를 위한 거버넌스 및 계보. 이 방식을 사용하는 조직은 데이터를 한 번 모델링한 후 분석, 머신러닝, 생성형 AI 워크로드에 재활용하여 기업 전반에 걸쳐 데이터, 기능, 모델을 일관되게 유지합니다.

자주 묻는 질문 

AI 데이터 모델링에 대해 여전히 궁금한 점이 있나요? 다음은 가장 흔한 질문들에 대한 답변입니다.