데이터가 많은데, 왜 결정의 순간엔 망설여질까
데이터 분석가 그리고 과학자가 회의실에서 가장 자주 듣는 말이 있습니다. "이번에 쿠폰 뿌렸더니 전환율이 올랐어요." "신규 유저한테는 30%는 줘야 반응이 오던데요." "기능 출시하고 나서 리텐션이 좋아진 것 같아요." 다들 자신 있게 말합니다. 그런데 정말 쿠폰 때문에 매출이 올랐을까요? 그 시기에 시즌 이벤트가 같이 있지 않았나요? 30%를 받은 유저들은 원래부터 활성도가 높던 분들 아닐까요? 이 질문 하나만 던져도 회의실 공기가 바뀝니다. "강한 의견"이 갑자기 갈 곳을 잃거든요. 그리고 정작 결정을 내려야 하는 순간, 우리는 망설이게 됩니다. 데이터는 많은데, 그래서 뭘 해야 하는지는 모르겠는 상태로요. 1. Fewer the facts, the stronger the opinion 데이터 기반 문화를 만들어 본 사람이라면 누구나 한 번쯤 마주치는 풍경이 있습니다. Waterfall 방식(기획·개발 후 Live 출시)에 익숙한 조직 리더십은 데이터의 필요성을 강하게 느끼지 못하고 실무자는 고객 가치보다 데이터 기술 자체에 집착하고 그래서 양쪽이 공통의 평가 기준을 잃은 채, 사실보다 '의견'이 많아지고 데이터와 실험은 자기 주장을 뒷받침하는 도구로 전락하고, 정작 가장 중요한 고객의 목소리는 머릿속에서 잊혀져 간다 이 마지막 풍경이 가장 무섭습니다. 사람이 많이 모인 자리일수록 "제 경험상 이렇습니다" 라는 말이 데이터를 이기거든요. 그리고 그 경험은 대개 상관관계를 인과관계로 착각 한 결과입니다. “데이터가 적은 곳일수록, 의견이 강하다.” 쿠폰을 뿌렸더니 매출이 올랐다는 건 상관관계입니다. 쿠폰 때문에 매출이 올랐다는 건 인과관계고요. 이 둘을 구분하지 못하면, 우리는 다음 분기에도 똑같은 쿠폰을 뿌리면서 예산의 75%를 낭비하게 됩니다. 『Experimentation Works』라는 책은 실험 조직으로 나아가는 5단계를 제시합니다. Awareness → Belief → Commitment → Diffusion → Embeddedness 이 모델을 빌려서, 오늘은 그 첫 단계인 Awareness 이전의 이야기예요. 왜 우리는 결정의 순간에 망설이는가, 그리고 그 망설임을 어디서부터 풀어가야 하는가에 대한 글입니다. 2. 왜 인과추론과 실험이 필요한가 결정의 순간에 망설이는 이유는 단순합니다. 우리가 보고 있는 게 "무엇이 일어났는가"까지일 뿐, "무엇이 무엇을 움직였는가"는 아니기 때문입니다. 대시보드는 매일 숫자를 보여줍니다. 매출이 올랐다, DAU가 늘었다, 전환율이 개선됐다. 그런데 이 숫자들은 결과 일 뿐 원인 이 아닙니다. 누군가가 "왜 올랐죠?"라고 물으면, 우리는 그럴듯한 가설을 댑니다. " 아마 신규 캠페인 덕분이겠죠", "새 기능 출시 효과 아닐까요?" 하지만 이 답들은 검증되지 않은 직관입니다. 인과추론은 바로 이 지점에서 시작됩니다. "A 때문에 B가 일어났다"고 말하려면, A가 없었을 때 B가 어땠을지를 따져 묻는 능력이 필요합니다. 같은 기간에 캠페인이 없었다면 매출이 어땠을까? 비슷한 유저인데 쿠폰을 못 받은 그룹은 어떻게 행동했을까? 이런 질문을 설계로 풀어내는 게 실험이고, 관측 데이터로 풀어내는 게 인과추론의 다양한 방법론입니다. 여기서 한 가지 더 짚어둘 게 있어요. 우리가 가진 편향(Bias) 입니다. 사람은 누구나 자기 경험과 익숙한 맥락 안에서 가설을 세웁니다. "우리 유저는 이런 사람들이야", "이 카테고리는 원래 이렇게 돌아가" — 이 익숙함이 새로운 가능성을 보지 못하게 막습니다. 인과추론은 이 편향을 의식적으로 드러내고 분리해내는 작업이기도 합니다. 결정의 순간에 망설이는 이유는 결국 이겁니다. 우리는 무엇이 무엇을 움직였는지 모르고, 그걸 따져 물을 도구를 갖고 있지 않기 때문입니다. 인과추론과 실험은 그 도구를 손에 쥐어주는 일이고요. 3. 데이터 기반 문화 = 데이터 맹신이 아니다 여기서 한 가지 짚고 싶은 게 있어요. 데이터 기반 문화는 데이터를 맹신하자는 게 아닙니다. 구성원 각자가 가설을 세우고, 스스로 검증해볼 수 있는 토양을 만드는 것 입니다. "신규 유저에게는 30%, 장기 유저에게는 15%"라는 결정이 있다고 해봅시다. 이게 누군가의 경험과 직관에서 나온 숫자라면, 다음 담당자가 바뀌면 또 다른 숫자가 등장합니다. 그런데 이게 실험으로 검증된 결과라면, 조직의 자산 으로 남습니다. 리더십의 중요성은 아무리 강조해도 지나치지 않습니다. 프로덕트 회의에서 데이터 조직에게 가장 먼저 이야기할 기회를 주는 리더가 있다면, 그 조직은 이미 절반 이상 와 있는 겁니다. 데이터로 먼저 대화를 시작할 수 있다는 경험은 그만큼 강력하거든요. 하지만 아무리 리더가 적극적이라도, 실무자가 그저 주어진 프로젝트를 수동적으로 분석하는 것으로만 인식한다면 문화는 뿌리내리지 못합니다. 결국 실무자 스스로가 자기 제품을 사랑해야 하고, 고객의 목소리에 호기심을 가져야 합니다. 궁극적으로 우리가 만들고 싶은 건 데이터 분석가가 필요 없는 날일지도 모릅니다. 모두가 신뢰할 수 있는 결과로 고객 경험을 증진시키는 조직. 단기 매출이 아닌, 고객이 떠나지 않게 만드는 데 데이터를 쓰는 조직이요. 4. 시간이 무한하다면 의견도 괜찮습니다 하지만 시간은 유한하죠. "우리 구성원의 시간, 그리고 제품에게 주어진 시간은 유한하다." 시간이 무한하다면 직관에 맡겨도 됩니다. 결국엔 정답에 도달할 테니까요. 그런데 시간이 유한하면, 우리는 틀린 가설을 빨리 버리고 맞는 가설로 갈아타는 능력 이 필요해집니다. 그게 실험이고, 인과추론입니다. AI가 정답이 있는 문제를 풀어주는 시대에, 인간이 해야 할 일은 결국 풀어야할 문제를 정의 하는 것 아닐까요. 결정의 순간에 망설이지 않으려면, 데이터를 더 많이 모으기 전에 "무엇이 무엇을 움직였는가"를 물을 줄 알아야 합니다. Next in series 이 시리즈는 5단계를 따라갑니다. Awareness — 조직이 "어, 우리 의견이 너무 많네?"를 자각하는 순간 Belief — 한 번의 실험이 만든 작은 균열 그 다음으로 Commitment, Diffusion, Embeddedness 데이터를 바라보는 사람에서 데이터로 결정하는 사람 으로. 그 여정의 첫 글이었습니다. 함께 보면 좋은 강의 데이터는 많아졌는데, 결정의 순간엔 왜 여전히 망설이게 될까요? 『데이터 실무자의 사고력 강화 : AI 인과추론 실무』는 크래프톤 데이터 분석가 신진수님과 함께 상관관계와 인과관계를 구분하는 사고 방식, 그리고 실무에서 실제로 활용되는 실험과 판단의 기준을 다루는 강의입니다. 단순히 분석하는 것을 넘어, “무엇이 무엇을 움직였는가”를 고민해보고 싶다면 추천드립니다. 👉 『데이터 실무자의 사고력 강화 : AI 인과추론 실무』 보러 가기
신진수
