빅 데이터란?

빅 데이터 정의

Wikipedia에 따르면 빅 데이터는 "너무 크거나 복잡하여 기존 데이터 처리 애플리케이션을 사용하여 처리하기 어려운 모든 데이터 세트을 포괄하는 용어"입니다. 테라데이타에서 빅 데이터는 종종 볼륨, 다양성, 속도, 가변성, 진실성의 관점으로 설명됩니다. 이는 수집, 저장, 관리, 분석 및 가장 중요한 가치를 생성하기 위해 빅 데이터를 활용하는 것이 복잡하고 어렵다는 것을 종합적으로 나타냅니다. 오늘날의 고위험 비즈니스 환경에서 차별화된 서비스를 제공하고, 탁월한 성과를 내며, 경쟁업체보다 고객요구에 더 빨리 적응하는 선도적인 기업은 빅 데이터 애널리틱스에 의존합니다. 그들은 애널리틱스와 결합된 빅 데이터를 의도적이고 체계적으로 활용하는 것이 더 나은 비즈니스 결과를 위한 기회를 제공한다고 생각합니다.

성숙한 조직의 경우 인공 지능(AI) 및/또는 머신 러닝과 결합된 빅 데이터 애널리틱스는 더욱 복잡한 비즈니스 과제를 해결하는 데 도움이 됩니다:

고객 경험: 고객을 중심으로 고객 여정을 최적화하여 경쟁 우위를 선점

금융 혁신: 금융 및 회계 프로세스를 통해 새로운 기업 가치와 전략적 투입을 제공

제품 혁신: 더 안전하고 수요가 많으며 수익성이 높은 제품을 만들고 이를 반복

위험 완화: 금융 사기 및 사이버 보안 위험에 대한 노출 최소화

자산 최적화: IoT 및 센서 데이터를 활용하여 자산 가치 최적화

운영 우수성: 인력, 장비 및 기타 리소스를 활용하여 최고 성능 가치 달성

빅 데이터를 작동시키는 방법

빅 데이터는 종종 표준 도구로 조작하거나 쿼리하기에는 너무 크고 복잡한 데이터 세트로 정의됩니다. 비즈니스 사례를 정의하고 "과학 프로젝트" 단계를 넘어 발전할 준비가 되어있는, 빅 데이터에 전적으로 헌신하는 기업조차도 빅 데이터를 작동시키는 방법을 찾아야 합니다.
 
빅 데이터에 대해 엄청나게 과장된 이미지와 복잡한 빅 데이터 기술 옵션 및 공급업체로 인해 필요 이상으로 정답을 찾기가 어렵습니다. 목표는 비용이 적게 들고 복잡성이 낮은 기본 빅 데이터 환경을 설계하고 구축하는 것이 되어야 합니다. 이는 전체 조직을 진정한 데이터 및 애널리틱스 중심으로 전환할 수 있을 만큼 안정적이고 고도로 통합되며 확장가능한 환경을 말합니다. 데이터 및 애널리틱스 중심성은 빅 데이터 및 빅 데이터 애널리틱스의 힘을 필요로 하는 조직의 모든 곳에서 이를 사용할 수 있는 상태를 말합니다. 귀중한 통찰력을 발견하는 데 필요한 기본 인프라, 데이터 스트림 및 사용자 도구 세트를 통해 더 나은 결정을 내리고 실제 비즈니스 문제를 해결할 수 있습니다.

엔진으로서의 빅 데이터

빅 데이터를 활용하기에 앞서 먼저 빅 데이터를 엔진으로 생각해야 합니다. 성능을 향상시키려면 원활하고 안정적이며 지속 가능한 방식으로 올바른 구성 요소를 조합하는 것이 중요합니다. 이러한 구성 요소는 다음과 같습니다:
 
데이터 소스: 운영 및 기능 시스템, 머신 로그 및 센서, 웹 및 소셜, 그리고 기타 여러 소스.
 
데이터 플랫폼, 웨어하우스 및 디스커버리 플랫폼: 데이터를 캡처하고 관리하여 결정적으로 고객 통찰력으로의 변환 및 궁극적인 조치를 가능하게 합니다.
 
빅 데이터 애널리틱스 도구 및 앱: 경영진, 분석가, 관리자 등이 고객 통찰력에 액세스하고 시나리오를 모델링하며 업무를 수행하고 비즈니스를 관리하기 위해 사용하는 "프론트 엔드"입니다.
 
이 수준에서는 비즈니스 가치를 창출하기 위해 빅 데이터 자산의 모든 능력을 활용해야 합니다. 이 모든 것을 함께 작동시키려면 현재 데이터 스트림과 리포지토리를 검사할 뿐만 아니라 특정 비즈니스 목표와 장기적인 시장 동향을 설명하는 전략적 빅 데이터 설계와 사려 깊은 빅 데이터 아키텍처가 필요합니다. 즉, 빅 데이터를 작동시키는 단일 템플릿은 없습니다.
 
빅 데이터가 내일 더욱 중요해질 것이라는 점을 감안할 때 이러한 인프라는 미래 운영의 기초로 간주되어야 합니다. 따라서 자본 지출이 상당할 수 있습니다. 그러나 많은 미래 지향적인 조직과 빅 데이터의 얼리 어답터는 올바른 빅 데이터 환경을 설계하면 비용을 절감할 수 있다는 놀라운(어느 정도 반직관적인) 결론에 도달하였습니다. 놀라운 점에 대해 설명하자면, 이러한 비용 절감은 상당하며 비교적 빨리 투자비용을 회수할 수 있다는 것입니다.
 
유연한 프레임워크를 갖추면 빅 데이터 기술과 프로그램이 기업의 여러 부분을 지원하고 비즈니스 전반의 운영을 개선할 수 있다는 점에 유의해야 합니다. 그렇지 않으면, 선진적이고 야심찬 빅 데이터 프로젝트조차도 좌초된 투자로 끝날 위험이 있습니다. Gartner는 빅 데이터 프로젝트의 90%가 기업 전체에서 활용되거나 복제되는 것으로 예상합니다. 미래의 빅 데이터 승자는 오늘 그 10%에 속하며 오래 전에 작게 생각하는 것을 멈췄습니다.

매우 효과적인 빅 데이터 환경의 속성

데이터 세트를 원활하게 사용: 대부분의 성과는 데이터 세트의 혼합, 결합 및 대조를 통해 이루어지므로 통합 없이는 애널리틱스 기반 혁신이 불가능합니다.

유연하고 저렴한 비용: 여기서 목표는 미래의 요구에 맞게 확장할 수 있는 충분한 유연성을 갖춘 복잡성과 비용이 낮은 환경입니다.

안정성: 데이터 볼륨이 방대하고 사용자가 데이터에 쉽게 액세스하고 상호 작용해야 하기 때문에 안정성이 매우 중요합니다. 따라서 인프라 성능은 빅 데이터를 통해 비즈니스 성과를 높이는 데 핵심적입니다.

빅 데이터 통합: 가장 중요한 변수

재사용성이 제한되었다는 것은 대체로 통합이 제대로 되지 않았다는 것을 의미합니다. 사실 통합은 빅데이터 성공을 위한 방정식에서 가장 중요한 변수가 될 수 있습니다.
 
Forrester Research는 빅 데이터 가치의 80%가 통합을 통해 나온다고 기록했습니다. 가장 높은 가치의 빅 데이터는 적합한 사용자가 쉽게 액세스할 수 있으며, 강력하고 명확하게 정의된 비즈니스 규칙 및 거버넌스 구조에서 나옵니다. 레거시 트랜잭션 데이터 및 롱테일 고객 기록과 같은 심층 데이터 세트에는 안정적인 스토리지와 강력한 데이터 관리만 필요할 수 있으므로, 데이터 과학자와 데이터 분석가는 적합한 경우에 이를 검토하고 모델링할 수 있습니다.
 
빅 데이터 통합은 생각을 크게 하는 것과 같습니다. 여기서 "크다"는 전체적론적, 포괄적, 및 다차원적을 뜻합니다. 점들이 연결되어야 하며, 고립된 데이터가 브리지되고, 기능적 사일로는 서로 연결되어야 합니다(완전히 세분화되지 않은 경우).
 
높은 수준의 통합. 잘 설계된 에코시스템. 통합된 아키텍처. 데이터 및 애널리틱스 중심성. 이 짧은 목록이 빅 데이터 프로그램을 작동시키기 위해 필요한 모든 구성 요소나 기술적 세부 사항이라는 것은 아닙니다. 그러나 확실히 이것들은 빅 데이터 프로그램을 효과적으로 작동시킬 수 있는 차이를 만드는 속성입니다.