한빛출판네트워크

제공 : 한빛 네트워크
저자 : Mac Slocum
역자 : 박동섭
원문 : Big data goes to work

스마트한 기업들은 정확하게 질문하고, 민첩하게 행동하기 위해 데이터를 사용한다.

데이터 기반 사례를 채택하는데 게으른 회사들은 이후의 장기 계획에 대해 걱정하지 않아도 된다. - 그들의 데드라인에 도달하기 전에 회사가 파산할 것이기 때문이다. 만약 여러분들의 비즈니스가 데이터 밴드웨건 상태라면, 절대로 현실에 안주해서는 안됩니다. 빅 데이터가 적용된 비즈니스에 대한 소비자들의 기대와 내성은 빠르게 변화하고 있기 때문입니다.

이번 인터뷰에서는 Strata 온라인 프로그램의 의장인 Alistair Croll가 이러한 흐름의 변화와 다른 데이터 개발들에 대한 이야기를 해 줄 것입니다.

엔터프라이즈에 영향을 주고 있는 데이터에 관한 소비자들의 기대는 어떠한가요?

Alistair Croll: 두가지 관점이 존재합니다. 하나는, 데이터를 공유하는 것에 대해 소비자들이 관대해졌다는 것입니다. 나는 정보를 공유하는 것이 나쁘지 않다고 생각합니다. 우리는 트렌드를 이해하기 위해서, 혹은 질병과 싸우기 위한 용도로 그런 정보들을 사용하기 때문이죠. 최근 대법원에 의해 이루어진 판결결과 Genetic Information Nondiscrimination Act(GINA)과 같은 법률 제정은 어느 정도의 법적 보호를 보장해 줍니다. 이는 기업들로 하여금 소비자들에 대해 보다 쉽게 접근하고, 알아갈 수 있음을 의미합니다.

또 다른 관점은, 사용자들은 기업들이 자신들에 대해 더 잘 알고 있음으로 인하여 기업이 소비자에게 개인적인 처방을 내려줄 수 있음을 기대하게 되었다는 것입니다. 우리와 개인적으로 연락하고자 했던 어떤 기업이 우리를 한 개인으로서가 아닌 익명으로 대했을때 우리는 매우 기분이 좋지 않았습니다. 공유의 계약은 결국 우리가 개인을 요구하게 된다는 것입니다. 이는 마케터들로 하여금 그들 자신이 소비자들과 어떻게 소통해야할 것인지에 대해 고민하게 하고 있음을 의미하기도 합니다.

전통적인 비즈니스 인텔리전트(BI)와 빅 데이터간의 관계는 어떻게 되나요? 서로 경쟁하고 있나요?

Alistair Croll: 빅 데이터는 전통적인 BI를 계승하고 있고, 그 점에서 어느 정도 영역다툼을 하게 될 것입니다. 하지만 BI와 빅 데이터 모두 같은 물음에 대한 답변을 하고자 한다는 점에 주목해야 합니다. 빅 데이터가 보다 나은 물음을 통해 비즈니스를 얻게 된다면, 모두에게 좋겠지요.

빅 데이터는 BI와 3가지가 다릅니다.

1. BI에서 말하는 전통적인 빅 데이터의 정의보다 더 많은 데이터입니다.

2. BI보다 빠릅니다. 어느 경우에 있어서는 웹 페이지를 통해 결과를 얻어오는 것보다 훨씬 빠릅니다.

3. 비구조화된 데이터입니다. 그것들이 가진 패턴들을 찾아내는 대신에 그저 수집된 데이터를 어떻게 사용할 것인지에 대한 알고리즘이 필요할 뿐입니다.

전통적인 BI가 크고, 빠른, 구조화되지 않은 것들의 최전선에서 부딛치고 있을 때, 빅데이터는 이미 승부수를 던졌습니다. 그러므로, 이제 우리는 몇년동안은 비즈니스에 관한 물음을 던져야 합니다. 다양한 도구들은 그들이 전통적인 관계형 데이터베이스나 데이터 웨어하우스를 사용할 수 있는지, 혹은 그들이 이러한 처리 요구사항에 기반한 다른 아키텍쳐로 작업을 위임해야할지에 대해 그들 스스로 결정해야 할 것입니다.

BI/빅데이터의 울타리 모두 어느 면에서 분명하지 않다는 것이 물음의 핵심이라고 할 수 있습니다. 비즈니스적 가치 역시 마찬가지겠지요.

어떻게 비즈니스가 그들의 데이터를 풀 수 있을까요. 무엇이 그 프로세스를 포함할 수 있을까요?

Alistair Croll: 첫번째 단계는 정확하게 묻는 것입니다. 그 전에, 리더는 분명한 증거 없이 애매하게 행동하는 사람들을 설득시킬 수 있는 사람이어야 합니다. 이런 사람들이야말로 오늘날 어떻게 물음을 해야 하는지 아는 사람들입니다.

분명한 증거 없이 애매하게 행동하게 되는 이유는 우리가 위험과 보상의 세계에 살고 있기 때문입니다. 불확실성은 우리는 어떤 행동들을 취해야 할지 모르고, 그런 경우에 우리가 그것이 확실해질때까지 기다렸다 하더라도 모든 이익이 증발해버렸을 것이라는 의미를 내포하고 있습니다.

하지만 오늘날, 모든 사람들은 그들이 제어할 수 있는 데이터보다 더 많은 데이터에 접근 할 수 있습니다. 너무나 단순하고 실현 가능한 다양한 액션들이 많고, 집단으로 가는 전리품들을 선택할 수 있습니다. 이것은 오픈 소스 운동 : Goldcorp은 금광의 지역 데이터 - 채광 산업에서는 "crown jewels"이라고 여겨지는 - 를 가지고 있고, 이를 세상과 공유하며, 금광의 광맥을 찾는 콘테스트를 열기도 합니다. 오늘날 그들은 가장 성공적인 채광 기업입니다. 그들이 성공하게 된 데에는 데이터를 오픈하고, 공유하고자 했던 데에 있습니다.

마지막으로, 가치는 종종 데이터 그 자신이 아니기도 합니다. 그것은 군사전략가 John Boyd는 관측, 적응, 결정, 행동 고리(OODA)를 개발하였고, 이는 정보를 수집하고, 파일럿들이 적들과 대치시에 사용될 수 있는 사이클입니다. 파일럿들은 적들의 OODA 루프에 대해 이야기를 하곤 합니다. 기업들은 이와 같은 행동들을 해야 할 필요가 있습니다.

그러므로, 비즈니스에서는 세가지가 필요합니다.

1. 정치적이거나 감정적이지 않은, 정말 바람직한 질문을 하는 방법

2. 데이터에 대한 생각의 변화. 데이터를 오픈하고, 적절한 상황에서 잘 사용하기

3. 경쟁자보다 빨리 데이터를 수집하고, 해석하여 시장, 소비자에게 반복적으로 적용할 수 있는 조직으로의 조직 개편

회사에서는 어떤 것이 가장 공통된 데이터일까요?

Alistair Croll: 제가 말했던 것들 개인 정보, 통치, 준수 모두입니다. 하지만 당신이 그것들에 대해 보다 깊이 알아가고자 한다면 그것들의 문화를 만나게 될 것입니다. 근로자들은 스마트하고, 설득력있으며, 매력적인 것을 좋아합니다. 그들은 협상이나 직감 등의 소프트한 스킬을 배워왔기 때문이죠.

지금까지 그러한 기술들은 사람들에게 영향을 주거나 친구들을 사귀는데에는 충분했습니다. 하지만 데이터의 거친 불빛이 기존의 계층을 위협하고 있습니다. 당신이 숫자나 테스트를 가지고 있을 때 당신은 인수를 필요로 하지 않습니다. 그 모든 직감 본능들은 테스트를 위한 오래된 가설들만을 가지고 있으며, 그것은 즉, 가장 큰 장애물이 기업 문화임을 의미합니다.

대부분의 비즈니스가 여전히 취득의 단계에 있다고 생각하세요? 아니면 회사들이 데이터를 적용하는 단계로 이동했다고 할 수 있을까요?

Alistair Croll: 아직 그런 단계는 아닙니다. 회사들은 일련의 사이클을 가지고 있어요. - 데이터 공급 체인이라고 불리죠. - 수집, 해석, 공유, 측정 단계로 구성되어 있습니다. 그들은 수십년간 데이터들을 구조화해왔어요. 분기별, 지역별, 품목별 판매 등으로요. 하지만 그들은 이제 그들이 사용할 것이든 말든간에 상관없이 더 많은 데이터들을 수집해야 합니다.

또한, 우리는 그것들이 전통적인 방법을 통해 해결할 수 있는지, 그리고 많은 데이터들을 제 시간에 분석하거나 기존의 도구들을 통해 문제를 해결할 수 있는지에 대해서도 고민해보아야 합니다. 이 과정에서 Hadoop과 같은 플랫폼을 도입하게 되기도 합니다.

많은 기업들의 웹 분석 사례가 촉매가 되었고, 빅 데이터의 가능성을 처음으로 보여주었습니다. 그리고 지금 마케터들은 묻고 있습니다. "이러한 종류의 통찰력을 온라인을 통해 얻었다면, 다른 곳에는 쓸 수 없을까?" 라고 말이죠. 로열티 프로그램이나 데이터베이스 마케팅을 위해 사용되어지는 도구들은 캠패인 관리와 소비자 통찰력을 위해 다시 계획되어지고 있습니다.

근 몇년 후에 빅 데이터는 비즈니스에서 어떤 모습으로 자리잡게 될까요?

Alistair Croll: 나는 사람들에게 곧잘 물어보곤 합니다. "왜 당신은 페이스북이나 트위터를 통해 당신 친구들의 휴가에 대해 더 알게 됩니까?" 라고 말이죠. 소비자 웹은 빅 데이터를 통해 쓰여지고 있습니다. BI가 하지 못했던 것을 빅데이터가 해내고 있습니다.

내 생각에 수평적 애플리케이션이야말로 미래의 빅 데이터 모습이라고 생각합니다. 오늘날 빅 데이터를 유전학, 알고리즘적 트레이딩 등의 수직적인 것들에 대해서만 주목하고 있습니다. 하지만 이것들이 직원들의 사기나 고용/해고, 공급 체인의 최적화 등에 쓰인다면 그 이익은 필수불가결일 것이라 생각합니다.

지난 십여년 동안, 웹 분석, CRM, 그리고 다른 애플리케이션들은 엔터프라이즈 IT를 통해서 그들 나름대로의 빅 데이터 적용 방법을 찾아냈습니다. 비록, CIO의 외부 도구에 대한 알러지에도 불구하고 말이죠. 이러한 애플리케이션들은 종종 빅데이터 기반으로, 스케일 아웃 아키텍쳐들을 만들어졌습니다.

어떤 회사가 데이터를 잘 사용하고 있나요?

Alistair Croll: 신생 기업들입니다. 비록 모든 데이터를 가지고 있었음에도 Blockbuster는 Netflix에 졌고, Barnes & Noble 역시 Amazon에 졌습니다. 이는 이렇게 비유할 수 있는데요, "회로에서 패킷으로, 혹은 절차지향에서 객체지향 프로그래밍으로" 정도로요. 데이터 기반 비즈니스는 기본적으로 다른 기술 집합을 필요로 합니다.

큰 회사들은 그들이 엄청난 정보 위에 앉아있다는 사실을 알아야 합니다. 하지만 그들이 적절한 질문을 하거나 최대한 느슨하게만 있으려고 한다면 그 데이터들을 사용하지는 못할 것이라는 사실도 알고 있어야 합니다. 그리고 그들은 빅 데이터가 그 어떤 산업에서도 안전하지 않고 엄청난 중개자라는 사실을 알아야 합니다.