데이터를 분석하는 플랫폼의 성공을 위한 조건

데이터가 기업의 경쟁력과 미래에 중요한 자원이 되고 있다는 것은 현재의 비즈니스 환경에서 널리 받아들여지는 사실입니다. 그러나 실제로 데이터를 효과적으로 활용하는 것은 쉽지 않은 일입니다. 과거 몇십 년 동안 기업은 데이터를 분석하고 의사결정에 활용하기 위해 다양한 기술과 방법을 시도해왔지만, 효과적인 데이터 관리와 활용을 하는 기업은 소수에 불과합니다. 

 

PwC와 Iron Mountain이 실시한 보고서에 따르면, 데이터를 효과적으로 관리하고 활용하는 기업은 매우 적습니다. 이는 데이터를 수집하고 저장하는 것만으로는 충분하지 않으며, 데이터를 분석하고 활용하여 실질적인 가치를 창출하는 것이 중요하다는 것을 시사합니다. 

 

가트너의 피터 존더 선임 부사장은 데이터 자체가 아무 의미가 없다고 강조하며, 데이터를 활용하는 방법과 데이터를 바탕으로 의사결정을 내리는 능력이 중요하다고 설명합니다. 대부분의 기업은 수집한 데이터를 어떻게 활용할지 정확히 이해하지 못하고 있으며, 이로 인해 데이터의 가치를 충분히 끌어내지 못하고 있습니다. 

 

데이터를 효과적으로 활용하여 시장 경쟁력을 확보하는 기업은 소수에 불과합니다. 새로운 기술이 등장하더라도 데이터 활용에 성공하는 기업은 많지 않습니다. 따라서, 기업은 데이터를 수집하고 분석하는 것뿐만 아니라, 이를 토대로 전략적으로 활용하는 방법을 연구하고 발전시켜야 합니다. 

 

 

빅데이터 시대로 데이터의 중요성이 변화했다

빅데이터 시대의 도래로 데이터는 기업의 경쟁력을 결정하는 핵심 요소로 부상하였습니다. 이전에는 적은 양의 데이터도 의사결정에 도움이 되었지만, 빅데이터 시대에는 데이터의 양과 다양성이 중요한 요소로 인식되고 있습니다. 특히 2010년 이후부터는 데이터가 기업의 경쟁력을 결정하는 주요 요소로 부상하였습니다. 많은 기업들이 데이터 분석과 관련된 기술을 적극적으로 도입하고 있으며, 빅데이터와 기계학습 등의 용어가 일상적으로 사용되고 있습니다. 

 

이러한 상황에서 데이터를 수집, 저장, 처리, 분석, 시각화하기 위한 데이터 분석 플랫폼이 중요한 역할을 하고 있습니다. AWS, 마이크로소프트, IBM, 오라클 등의 다양한 벤더들이 온프레미스 및 클라우드 환경에서 데이터 분석 플랫폼을 제공하고 있습니다. 이러한 플랫폼들의 아키텍처, 기술, 도구는 크게 다르지 않으며, 주로 데이터의 수집, 저장, 처리, 분석, 시각화를 위한 기능을 제공합니다. 

 

그러나 성공적인 데이터 활용을 결정하는 것은 플랫폼의 우수성보다는 도입하는 기업의 데이터 관리 및 분석 능력입니다. 어떤 플랫폼을 선택하더라도 데이터를 효과적으로 관리하고 분석하는 능력이 중요합니다. 즉, 데이터 분석 플랫폼을 구축하려면 적절한 준비가 필요하며, 이는 플랫폼의 구현 전에 고려되어야 합니다.

 

결국, 데이터 분석 플랫폼은 데이터를 활용하기 위한 도구일 뿐이며, 성공적인 데이터 활용을 위해서는 기업 내부의 데이터 관리 및 분석 능력이 중요합니다. 따라서 플랫폼을 도입하기 전에는 기업의 데이터 준비 상태와 분석 능력을 평가하고, 이에 맞춰 적절한 전략을 수립해야 합니다.

기업들이 고객 데이터를 클라우드 환경에 저장하는 것에 대한 인식이 크게 변화하고 있는 것은 사실입니다. 예전에는 클라우드 환경에서의 데이터 보안 문제로 인해 많은 기업들이 데이터를 온프레미스 환경에 보관하려고 했습니다. 그러나 최근에는 클라우드 기술의 발전과 보안 기술의 진보로 인해 많은 기업들이 클라우드 환경을 보다 안전하고 신뢰할 수 있는 데이터 저장 장소로 인식하고 있습니다. 

 

클라우드의 초기 구매 비용 부담이 적고, 자원을 유연하게 활용할 수 있는 장점이 있어 많은 기업들이 클라우드 전환을 추진하고 있습니다. 또한, 클라우드 환경에서는 사업 기간이 다가와도 일정 조정이 용이하며, 행사 개최 시에도 효율적인 운영이 가능합니다. 또한, 유휴 장비 관리에 부담이 없다는 점도 클라우드의 장점 중 하나입니다.

 

시장조사업체 IDC에 따르면, 2019년 퍼블릭 클라우드에서 제공된 빅데이터 분석 소프트웨어가 전체 빅데이터 분석 소프트웨어 시장의 약 3분의 1을 차지하고 있으며, 앞으로 연평균 23.2%의 성장이 예상되고 있습니다. 이는 클라우드 환경에서의 데이터 분석 소프트웨어가 빠르게 성장하고 있다는 것을 보여줍니다.

 

 

데이터를 분석하는 플랫폼의 성공을 위한 조건

 

 

성공적인 데이터 분석 플랫폼에 관한 기업의 고려 사항

2010년 이후, 기업들이 정형화된 데이터뿐만 아니라 비구조화 데이터도 수집하고 분석하여 업무에 활용하는 움직임이 크게 늘어나고 있습니다. 이는 기존에는 주로 정형화된 데이터에 의존했던 기업들이 새로운 유형의 데이터를 활용하여 더 다양한 인사이트를 얻고자 함을 보여줍니다. 이러한 변화에 따라 대용량 시스템과 저렴한 건설/운용 비용의 환경이 필요하며, 이를 통해 다양한 종류의 데이터를 수집하고 분석할 수 있게 됩니다. 

 

데이터 분석 플랫폼은 기업의 활동에 필요한 데이터를 수집하는 것뿐만 아니라, 수집된 데이터를 효율적으로 분석하고 활용하는 것을 목적으로 합니다. 이를 통해 기업은 더 많은 인사이트를 얻고, 의사결정을 더욱 근거 있게 내릴 수 있게 됩니다. 하지만 사용자에게 필요한 도구와 편의가 제공되지 않으면, 분석 작업에 필요한 시간과 비용이 증가할 수 있습니다. 따라서 사용자들이 데이터를 쉽게 분석하고 활용할 수 있도록 도구와 편의를 제공하는 것이 중요합니다.

 

또한, 분석 작업 인원을 제한하지 않고 더 많은 직원이 데이터를 활용할 수 있도록 하는 것이 필요합니다. 이를 위해 Citizen Data Scientist를 위한 환경을 제공하여 모든 직원이 데이터를 분석하고 활용할 수 있도록 해야 합니다. 이는 데이터 분석에 대한 전문 지식이 없는 직원들도 데이터를 활용하여 문제를 해결하고 의사결정을 내릴 수 있게 도와줍니다.

문제는 분석 작업에 필요한 도구와 환경을 한 번에 작업 프로세스에 적용하는 것은 쉬운 일이 아닙니다. 각 기업이나 조직은 다양한 업무 특성과 배경지식을 갖춘 직원들로 구성되어 있기 때문에, 모든 직원이 한 번에 새로운 시스템을 적응하고 활용하는 것은 어려운 일입니다. 

 

새로운 시스템을 적응하고 활용하기 위해서는 적절한 교육과 시간이 필요합니다. 또한, 사용자들이 새로운 시스템을 완전히 이해하고 활용하기 위해서는 명확한 이해가 필요합니다. 이를 위해 데이터 분석 플랫폼을 도입하기 위해서는 기존 시스템과 데이터를 이해하고, 새로운 플랫폼을 구축하는 목적과 이를 이용하는 사용자의 명확한 이해가 필수적입니다.

 

또한, 새로운 플랫폼을 도입할 때에는 기존 시스템과의 호환성을 고려해야 하며, 사용자들의 요구와 피드백을 수용하여 시스템을 지속적으로 개선해 나가는 것이 중요합니다. 이러한 과정을 거치면서 점차적으로 직원들이 새로운 시스템을 습득하고 활용할 수 있게 됩니다. 

 

따라서, 데이터 분석 플랫폼을 도입할 때에는 사용자들의 이해와 적응을 위한 교육과 지원이 필요하며, 시스템의 개선과 사용자들의 피드백을 반영하여 지속적으로 발전해 나가는 것이 중요합니다.

 
성공적인 플랫폼 도입을 위한 기업이 해야 할 5가지는 다음과 같습니다.

 

- 데이터 분석 조직

데이터 분석 플랫폼과 데이터 레이크의 기본적인 목적은 데이터 사용률을 높이는 것입니다. 이를 위해서는 더 많은 회원이 참여해야 하며, 경우에 따라 기업의 디지털 트랜스포메이션(DT)이 필요할 수 있습니다. 최근에는 많은 기업들이 최고 의사결정 기관 산하에 DT 조직을 두고 있으며, 이 팀은 전사적인 디지털 업무 변혁 활동을 담당합니다.

 

디지털 트랜스포메이션 팀이 이미 가동 중인 경우, 데이터 분석을 위해 회사의 업무 현황을 확인하고 목표를 설정합니다. 이와 유사한 역할을 하는 조직이 없는 경우, 태스크포스 팀을 구성하여 역할을 수행하고 프로젝트를 준비, 구축, 완료 및 전파합니다.

 

전담 조직이 있다고 해도 DT는 매우 어렵고 복잡한 프로세스이며 시간이 소요됩니다. 따라서 다양한 팀 간의 조정과 의사결정자와의 소통을 통한 정확한 진단이 필요합니다. 이를 위해 어느 정도의 강제가 필요할 수 있습니다. 최고 의사결정자는 조직에 직접 참여해야 하며, 클라우드와 빅데이터 전문 지식을 갖춘 IT 전문가와 데이터 과학자 등 분석 전문가도 참여해야 합니다.

 

이러한 접근 방법을 통해 기업은 데이터 분석을 통해 비즈니스 가치를 최대화하고, 디지털 트랜스포메이션을 통해 업무 프로세스를 혁신할 수 있습니다.

 

 

- 분석 현황 파악

데이터 분석을 실행하고 있는 팀과 팀 멤버를 진단하는 프로세스는 다음과 같이 설정할 수 있습니다:

1. When (reporting 또는 분석 포인트):
   • 데이터 분석이 언제 이루어지고 있는지를 확인합니다. 이는 주간, 월간, 분기별 등 다양한 주기로 진행될 수 있습니다.
2. Where (DW, 스토리지 또는 외부 API):
   • 데이터가 저장되는 위치를 확인합니다. 데이터 웨어하우스(DW), 데이터 스토리지 또는 외부 API 등에서 데이터를 가져오거나 접근하는지 확인합니다.
3. What data (데이터베이스, raw (RAW) data 등):
   • 어떤 종류의 데이터를 사용하고 있는지를 확인합니다. 데이터베이스에서 추출한 데이터, 원시 데이터 등 다양한 형태의 데이터를 분석하는지 확인합니다.
4. How (OLAP, BI, 쿼리, 전문 분석 소프트웨어 등):
   • 어떤 방식으로 데이터를 분석하고 있는지를 확인합니다. OLAP(온라인 분석 처리), BI(비즈니스 인텔리전스), 쿼리, 전문 분석 소프트웨어 등 다양한 도구나 기술을 활용하는지 확인합니다.
5. What:
   • 분석 작업의 내용과 목적을 확인합니다. 어떤 종류의 분석이 수행되고 있는지, 분석 결과를 어떻게 활용하는지 등을 확인합니다.
6. Why:
   • 분석 작업의 목적과 이유를 확인합니다. 어떤 이유로 해당 분석이 필요한지, 분석 결과를 통해 어떤 문제를 해결하려는지 등을 확인합니다.
7. 데이터 활용도 및 회원의 기술력 확인:
   • 데이터 분석 결과를 실제 업무에 어떻게 활용하고 있는지를 확인합니다. 또한, 팀 멤버들의 기술력과 역할을 평가하여 필요한 교육이나 지원을 제공할 수 있도록 합니다.
8. 데이터 사일로 현황 확인:
   • 데이터 사일로 현황을 확인하여 데이터의 품질 및 일관성을 평가합니다. 데이터 사일로 현황을 통해 데이터의 정확성과 신뢰성을 확인하고 개선할 수 있는 점을 파악합니다.

이러한 진단을 통해 데이터 분석 팀과 팀 멤버들의 역량과 업무 수행 상황을 정확히 파악하고, 필요한 조치를 취하여 데이터 분석의 효율성과 품질을 향상시킬 수 있습니다.

 

 

- 1차 목표 설정

비슷한 규모의 유사 기업이 도입한 데이터 분석 플랫폼의 사례를 분석하여 다양한 사업 개선 및 활용 방안을 확인하고, 현재 상황에 따라 가장 현실적인 목표를 설정하는 것은 매우 중요합니다. 이를 위해 다음과 같은 접근 방법을 제안합니다:

1. 비슷한 규모와 업종의 기업들이 도입한 데이터 분석 플랫폼의 사례를 조사합니다. 이들의 성공 사례와 실패 사례를 분석하여 각각의 사례에서 얻을 수 있는 교훈을 추출합니다.
2. 다양한 사업 개선 및 활용 방안을 확인하기 위해 성공 사례에서 도출된 주요 결과와 이점을 살펴봅니다. 예를 들어, 매출 증대, 비용 절감, 고객 서비스 향상 등의 이점을 분석하여 해당 사업에서 적용 가능한 개선 사항을 확인합니다.
3. 현재 기업의 상황과 목표를 고려하여 가장 현실적인 목표를 설정합니다. 이 때, 목표는 가능한 한 간단하고 짧은 것이어야 합니다. 예를 들어, 매출 증대를 목표로 할 수 있으며, 이를 위해 고객 이탈률 감소나 신규 제품 출시를 포함한 다양한 전략을 수립할 수 있습니다.
4. 설정된 목표를 신속하게 확산하기 위해 성공 사례를 조기에 작성하고, 이를 통해 새로운 데이터 분석 플랫폼의 도구와 환경을 숙지하고 부서의 목적에 맞는 장기 분석 목표를 설정하도록 합니다.
5. 목표 설정 및 사례 확산을 통해 회원들이 데이터 분석에 대한 이해를 높이고, 플랫폼을 효율적으로 활용할 수 있도록 지원합니다.

이러한 접근 방법을 통해 데이터 분석 플랫폼의 도입 및 활용이 조직 전체에 효과적으로 전파되고, 비즈니스 성과를 달성하는데 도움이 될 것입니다.

 

- 장기적인 계획 수립

비슷한 규모의 유사 기업이 도입한 사례를 통해 다양한 사업 개선 및 활용 방안을 확인하고, 현재 상황에 따라 가장 현실적인 목표를 설정하려면 다음과 같은 절차를 따를 수 있습니다:

1. 성공적인 사례 조사:
   • 비슷한 규모와 업종의 기업이 데이터 분석 플랫폼을 도입하여 어떤 사업 개선 및 활용을 이루어냈는지 조사합니다. 이러한 사례를 통해 어떤 목표가 가장 현실적이고 효과적인지를 파악합니다.
2. 목표 설정:
   • 현재 기업의 상황과 필요에 맞게 가장 현실적이고 실현 가능한 목표를 설정합니다. 목표는 간결하고 명확해야 하며, 비즈니스 성과를 중심으로 하여야 합니다.
3. 실현 가능한 목표 설정:
   • 단계적으로 실시할 수 있는 목표를 설정합니다. 각 단계에서는 성능을 측정할 수 있는 명확한 결과를 지정하여 구현 계획을 세웁니다.
4. 단계적 구현 계획:
   • 각 단계별로 구현 계획을 세우고, 보다 편리한 툴, 데이터 검색 기능, 개선된 프로세스 등을 단계적으로 도입합니다.
5. 결과 및 성과 측정:
   • 각 단계에서 성과를 측정하고 결과를 분석하여 개선사항과 문제점을 파악합니다. 이를 바탕으로 다음 단계에 반영할 수 있도록 계획을 수정합니다.
6. 실패 가능성 줄이기:
   • 단계적 로드맵을 통해 프로젝트의 실패 가능성을 최소화합니다. 각 단계에서의 성과를 토대로 계속해서 프로젝트를 조정하고 개선해 나가는 것이 중요합니다.

이러한 절차를 통해 새로운 데이터 분석 플랫폼의 도구와 환경을 숙지하고 부서의 목적에 맞는 장기적인 분석 목표를 설정할 수 있습니다.

 

- 기술적인 설계

먼저 데이터 분석 플랫폼을 구축하기 위한 환경을 선택해야 합니다. 클라우드 서비스의 대중화에 따라 데이터 분석 시장도 크게 성장했습니다. 클라우드는 비교적 낮은 확장성과 초기 투자 비용으로 데이터 분석과 관련된 다양한 오픈소스 소프트웨어를 기반으로 관리 서비스를 제공하여 데이터 분석 시스템 구축과 운영에 높은 장벽을 허물고 있습니다. 하지만 여전히 클라우드 서비스에 익숙하지 않고 데이터 민감도가 높은 업종에서는 접근이 쉽지 않습니다. 일반적으로 건설 환경은 다음과 같은 기준에 따라 선택됩니다. 

1. 클라우드 서비스의 활용:
   • 클라우드 서비스를 활용하여 데이터 분석 플랫폼을 구축하는 것이 일반적입니다. 클라우드는 낮은 확장성과 초기 투자 비용으로 데이터 분석에 필요한 다양한 오픈소스 소프트웨어를 기반으로 관리 서비스를 제공합니다. 이를 통해 데이터 분석 시스템의 구축과 운영에 높은 장벽을 낮출 수 있습니다.
2. 클라우드 서비스에 대한 익숙함:
   • 업계의 클라우드 서비스에 대한 이해도와 익숙함을 고려해야 합니다. 클라우드 서비스에 익숙하지 않은 경우 새로운 시스템을 구축하고 운영하는데 어려움을 겪을 수 있습니다.
3. 데이터 민감도:
   • 데이터의 민감도와 보안 요구사항을 고려해야 합니다. 높은 보안 수준이 요구되는 업종에서는 클라우드 서비스의 사용이 쉽지 않을 수 있습니다. 이러한 경우 온프레미스 환경을 고려할 수 있습니다.
4. 비용과 효율성:
   • 클라우드 서비스의 초기 투자 비용과 유지 보수 비용을 고려해야 합니다. 비교적 낮은 초기 투자 비용으로 데이터 분석 플랫폼을 구축할 수 있는 장점이 있지만, 장기적으로 비용이 더 많이 발생할 수 있습니다. 따라서 비용 대비 효율성을 고려하여 환경을 선택해야 합니다.
5. 확장성과 유연성:
   • 데이터 분석 플랫폼의 확장성과 유연성을 고려하여 환경을 선택해야 합니다. 클라우드 서비스는 확장성이 뛰어나며 필요에 따라 리소스를 증가시킬 수 있어 유연한 운영이 가능합니다.

 

그 결과 온프레미스, 퍼블릭, 프라이빗 또는 하이브리드 클라우드 환경은 각각의 상황을 고려하여 결정됩니다. 예를 들어, 건설 기업의 경우 기밀 정보가 많고 투자 예산이 제한적일 수 있습니다. 이런 경우 공공 클라우드를 사용하여 데이터 처리와 분석을 위한 컴퓨팅 작업을 수행하고, 기밀 정보가 보호되어야 하는 부분은 온프레미스 환경에서 사내에서 처리할 수 있습니다. 이러한 구성을 통해 기밀 정보를 안전하게 유지하면서도 클라우드의 확장성과 유연성을 활용할 수 있으므로 하이브리드 클라우드 환경이 적합할 수 있습니다.

 

이 회사는 공공 클라우드를 통해 특정 데이터 처리 및 분석 작업을 외부에서 수행하고, 민감한 데이터는 온프레미스에서 처리함으로써 하이브리드 클라우드 환경을 선택할 수 있습니다. 이렇게 하면 데이터의 안전성과 보안성을 유지하면서도 클라우드의 확장성과 유연성을 누릴 수 있습니다.

환경이 결정되면 데이터 분석 플랫폼 아키텍처가 설계됩니다. 먼저 작업에 필요한 절차를 정의하고 개념 흐름을 작성합니다. 그 후, 그에 따라 솔루션의 선택을 검토하고, 네트워크 설계등의 상세를 진행합니다. 

각 워크플로우를 정의한 후 워크플로우에 일치하는 데이터 처리를 위한 데이터 파이프라인과 분석 파이프라인이 설계됩니다. 원활한 분석을 위한 반복적인 작업이 많기 때문에 데이터 처리를 자동화하는 것이 중요합니다.  

설계를 확인할 때 가장 중요한 것은 데이터 분석을 위해 효율적인 데이터 검출이 가능하다는 것입니다. 이를 수행하려면 데이터 카탈로그 서비스/도구/기능이 정상적으로 작동해야 합니다. 데이터 카탈로그는 데이터 분석 플랫폼(데이터 메타데이터 등)에서 사용 또는 사용될 가능성이 있는 데이터에 관한 정보로서 일원적으로 관리할 필요가 있습니다. 이를 통해 기존 데이터와 처리된 데이터 정보를 잘 관리하고 사용자가 편리하게 검색해 분석 작업을 신속하게 시작할 수 있습니다. 따라서 데이터 카탈로그 기능을 위한 솔루션 선택 또는 구축과 관련하여 초기 설계 시 솔루션 또는 직접 개발을 고려해야 합니다. 

 

 

모든 기업을 위한 정답은 없다

기업이 데이터 분석 플랫폼을 도입할 때는 각 기업의 고유한 상황과 요구사항을 고려해야 합니다. 기술 성숙도, 업계 특성, 회원들의 요구 등이 다르기 때문에 일반적인 해결책은 존재하지 않습니다.

 

그러나 모든 기업이 공통적으로 추구해야 할 목표는 있습니다. 바로 데이터 분석이 필요한 회원들에게 정확하고 효율적인 방법을 제공하는 것입니다. 또한 분석 결과를 실제 업무 시스템이나 서비스에 적용하여 가치를 창출하는 것이 중요합니다.

 

전체적인 계획과 사업을 단계적으로 진행하고 상황과 변화에 유연하게 대응하는 것이 중요합니다. 또한 기업과 이용자의 학습 수준을 고려하여 지속적인 교육 및 지원을 제공하여 데이터 분석의 활용도를 높이는 것도 중요합니다. 이를 통해 장기적인 사업 성공을 이룰 수 있습니다.

 

데이터를 분석하는 플랫폼