백세코딩 #빅데이터

정보시스템을 다루는 소프트웨어 아키텍트들은 이제 근본적인 데이터의 흐름과 그 가치에 대해서 관여하기 시작했다. 그동안 축적된 경험과 과학적인 판단을 근거로 기업의 정보시스템이 경영진드르이 경영판단 보조수단에서 새로운 사업의 가치와 방향성에 대해서 제시하기 시작했다.

데이터 사이언티스트의 시대가 시작됐다.

데이터 사이언티스트?

데이터에서 패턴을 찾아내 비즈니스 기회로 만든다라는 목적으로 데이터와 정보를 다루는 사람들이다.

그들은 프로그래머이며 통계학자이고 컨설턴트인 사람들이다.

빅데이터를 다루는 데이터 사이언티스트들이 이런 통찰력을 갖춘사람으로 성장하려면 기본적으로  IT  기술에 능숙하고 소프트웨어 프로그래밍의 알고리즘에 익숙하며 패턴인식에 대한 경험이 풍부해야 한다.

프로그래머가 소프트웨어의 도움을 받아 도달할 수 잇는 새로운 지위가 되었다.

프로그래머는 소프트웨어 아키텍트로서 문제해결과 인간에게 도움이되는 서비스를 생명력 있는 가치로 만들고자 진화하였고 이제는 프로그래머가 삽질과 벌레를 잡으며 데이터와 승부를 한 끝에 얻은 지위가 '데이터 사이언티스트'이다.

기본적으로 프로그래머는 '정보'를 다루고 '정보'를 다시 확인하는 작업을 반복한다.

같은업무, 같은 시장, 같은환경에 대해서 반복적인 개발을 수행하고 점증적 반복개발을 통해서 애자일이라는 철학을 얻어냈다. 그리고 반복하면서 개선한다는 가장 기본적인 패턴을 통해 인류가 발전해왔다는 것도 터득하였다.

그래서 잘못하는 부분을 찾아내는 것의 핵심인 데이터와 프로세스를 다루는 것이 매우 능수능란해졌다.

'우리는 데이터와 프로세스를 다룬다'라고 소프트웨어 개발자들은 이야기 한다.

그리고 그것을 소프트웨어로 실현한다.

이 소프트웨어의 가치는 어디서오는가?

그것도 점증적으로 발전하였다.

정보기술이 소수의 전문가와 소수의 기술자들만 사용하는 시대, 그 시대는 '기술'이 곧 상품이었다.

그래서 컴퓨터가 만들어지고 그것을 다루는 기술들이 중요한 '정보기술'의 상품이 되었다.

시대가 지나 그 경험이 축적되면서 '정보기술'은 이제 '대중화'되었고 대부분 비슷한 '정보기술'을 통해서 '서비스와' '소프트웨어'를 만드는 시대로 진입했다.

우리는 이제 '정보기술' 그 자체로 경쟁하기 어렵다는것을 느낀다.

어떤것이 새로운 가치와 부를 창출하는가?

그것은 일반고객이다

아직도 정보기술에 익숙하지 않는 시장이 더 크다.

그들은 정보기술을 소비하고 열광하고 사용한다.

단일화된 인터넷이 열어놓은 세상에서 수많은 개인 간의 경험들이 모이고 있다.

이때 그러한 고객을 분석하는 방법은 바로 '데이터'이다.

현대 정보화 사회는 이러한 데이터를 모으는 것이 가장 중요하다.

그리고 그 데이터를 통제하는 것이 마찬가지로 가장 큰 화두이다.

데이터는 큰 회사이건 작은 회사이건 그 내부의 개발팀이건 가장 중요하다.

고객들의 구매패턴을 인지하고 그 패턴을 통해 비즈니스 기회를 발견한다.

과거에 이러한 패턴은 뛰어난 직관을 가진 경영자들의 경험에 의해서 데이터가 머릿속으로 분석되고 이를 통해서 비즈니스로 구현하였다.

하지만 거대해지고 고도로 정교해진 현대의 비즈니스에서는 이러한 고도의 경영직관을 가진 사람에 의지해서는 치열한 비즈니스의 세계에서 살아남을 수 없다.

과거의 과학은 뛰어난 과학자들이 독특한 가설을 세우고 논문으로 증명한 다음 일반 산업계에서 사용하였다. 그리고 지금도 대부분 그러한 방식을 사용한다.

하지만 이러한 '방법'은 경영이나 비즈니스의 세계에서는 너무 속도가 느리다.

어느 정도 이상의 직관과 통찰력을 가진 사람들이라면 보다 빠르게 '가설'을 세우고 그것을 증명할 수 있는 방법과 도구를 필요로하게 되었다.

그것이 '빅데이터'이다.

실제 빅데이터는 증명하는 시간을 단축해준다.

실제 데이터의 흐름을 관찰하면서 '직관'과 '통찰력'으로 적절한 시나리오를 만들어 내고 이를 '빠르게 증명'하는 것이 '빅데이터'이다. 그리고 이러한 '빅데이터'를 관리하고 이야기를 만들고 의미를 찾아서 증명하는 사람들이 '데이터 사이언티스트'이다.

미래에 무엇이 경쟁력인가?

과거에 기술이 주도하던 시대와 가격이 주도하던 시대를 뛰어넘어 이제 '기회'가 주도하는 시대다.

고객에게 먼저 '기회'를 제시하는 것이 바로 '데이터'이다.

아마존은 사용자의 구매패턴을 미리 인지하여 아예 배송지 근처의 창고에 상품을 대기하게 해서 조만감 이 제품이 필요했지?라면서 선 배송이 오고 후 결제를 하는 시대가 도래할 것이다.

빅데이터를 다루는 요소 5가지로 축약

1. 경험의 통계학

2. 지표로 수치화

3. 마케팅 퍼널(funnel)

4. A/B  Test

5. 코호트(cohort)

경험의 통계학

대표적인 경험을 표현할 수 있는 사례는 브랜드

뚜렷한 지표를 만들어야 한다.

측정하는 방법이 명확해야 하기 때문이이다.

마케팅 퍼널

데이터 사이언티스트는 고객과 사용자에 대해서 언제나 생각한다.

그리고 고객은 언제나 약하고 충성도가 낮다는 것을 알고 있다.

데이터 사이언티스트가 있는 기업의 서비스는 절대 복잡하지 않다.

그리고 UX에 대해서도 최소하려고 애쓴다.

소비자를 고객으로 끌어들이는 단계가 바로 마케팅 퍼널이다.

잠재소비자들을 인지하게 하고 검토, 선택, 행동, 애착을 두게 하는 깔대기와 같은 것이 퍼널이다.

퍼널의 과정에 적극관여하여 애착을 둘 수 있도록 변화시킬 수 있다.

A/B Test

퍼널을 가장 효과적으로 대응하는 방법이 A/B Test이다.

간단한 3가지 지표

1. 얼마나 눌러서 들어오는가?

2. 얼마나 많이 페이지를 보는가?

3. 얼마나 많이 '후원', '결재' 하는가?

마구잡이로 소프트웨어와 서비스에 다양한 실험과 반복적인 서비스를 계속 만들라는 것이 아니다.

중요한 것은 A/B Test 유지보수 지수를 높여야 이것도 가능한 것이다.

소프트웨어 개발자들이 중요한 서비스에 집중하게 하고 퍼널에서 애착을 가질 수 있는 다양한 환경으로 서비스를 구성해서 이를 반영할 수 있는 최소한의 시스템을 만들어야 한다.

코호트

데이터 사이언티스트는 코호트를 기억하고 이를 언제나 대비한다.

코호트는 경험을 통한 사회변동을 연구하는 개념이다.

소프트웨어와 서비스는 하나의 페이지나 하나의 서비스로 제공되지만, 그것을 '경험'한 사용자들은 각자의 경험에 따라서 인지하는 방법이 다르다는 것이다.

서비스와 페이지는 하나. 처음 본사람과 계속 본 사용자의 경험과 느낌은 다르다.

처음 본 사용자들의 패턴을 주시하면서 계속 사용하는 사용자들의 패턴을 주시하면된다.

경향과 반복적으로 수집하고 분석하여 이를 지식으로 만들어 내는 것 그것이 코호트이다.

1. 사람들은 익숙해진 개념을 더 편하게 사용한다. 그것이 광고의 힘이고 브랜드의 힘이다. 그리고 좁은 가정은 틀릴 수 있다는 것을 인지하자.

2. 지표를 만들어서 구체적으로 지향하라.

3. 퍼널: 사용자란 실제 유료사용자까지 끌고가야한다.

4. A/B 테스트: 고객의 생각을 읽을 수 있는 데이터를 추출해야 한다.

5. 코호트: 고객의 경향과 관점을 분석하라.

소프트웨어 품질과 지수, 시각화가 되지 않으면 빅데이터는 꿈도 꾸지 말아라.

물론 DevOps도 필수다.

데이터사이언티스트와 IoT

IoT와 connected는 중요한 요소

IoT connected와 수많은 접근 기술 요소들을 더 쉽게 그 환경을 제공할 것이다.

단순 정보전달용은 IoT가 아니다.

그냥 센서에서 발생되는 수치일 뿐이다.

소비자들은 IoT를 통해서 해당 정보가 무엇을 의미하는지가 connected 된다.

그것이 IoT 의 핵심이다.

IoT는 connected되고 AI와 결합하고 클라우드 서비스릍 통해서 단순 지식과 경험에 의존하던 '경험 전문가'들의 자리를 대체할 것이다.

출처-백세코딩