Limitist:Log

오래된 제품을 리뉴얼하는 것은

진정 ‘하위 호환성’과의 싸움이구나.

이렇게 하나, 저렇게 하나 붙어서 ‘거대해진’ 레거시들을 이렇게 대응, 저렇게 대응하다보면 복잡도는 높아지고 버그는 늘어가고 개발기간은 길어지고. 그만큼 새로운 것을 시도하는 것은 버거워지고.

이렇게 당하고 있자니 왜 Getting Real류의 제품개발론에서 ‘기능 추가’를 그토록 ‘죄악시’하는지 이해가 간다. 기능이 하나 추가될 때 마다, 정책이 하나 추가될 때 마다 유지비용은 배로 늘어나고, 결국 아무도 전체를 이해할 수 없을 만큼 복잡해진다.

그때가서는 아무리 ‘속도가 생명!’이라고 주장해도 소용이 없는 것이다.

하지만 이미 돌이킬 수 없는 상황일지라도 ‘과거를 털어버리고 심플함을 되찾자!’는 것은 결코 답이 될 수 없다. (리뉴얼을 진행할 때 이 유혹을 떨치지 못하고 피를 보는 경우는 역사적으로도 적지 않은 듯 하다) 리뉴얼은 제품 제공자의 욕망일 뿐, 쓰는 사람은 결코 ‘새롭게 바뀌는 것 = 좋은 것’이라고 생각하진 않기 때문이다. 바뀌는 건 그냥 성가시고 귀찮고 다시 배워야하는 것일 뿐… 없던 기능이 생긴다고 기뻐하기보다는 있던 기능이 사라지거나 바뀌는 것에 분노할 뿐이다.

사용성 테스트의 비유, 현재까지의 경험 정리

직접 설계한 서비스를 가지고 직접 사용성 테스트를 수행해보는 기분은, 눈을 가리고 목적지까지 걸어가다가 잠깐 가리개를 들어서 앞을 보는 찬스를 얻은 것과 비슷하다.

눈을 감고 앞으로 걸어가면, 한 걸음 한 걸음마다 두려움이 몰려온다. 바로 앞에 장애물이 있진 않은지, 이 방향이 맞긴 한건지. 실제로 눈을 가리고 걸어가면 바로 발 아래있는 맨홀에 빠질 수도 있고, 완전 엉뚱한 방향으로 걸어갈 수도 있다.

그래서 사용성 테스트는 왠만하면 해보는게 좋다고 본다. 전혀 안하면, 아무나 잡고 한 번만 물어봐도 알 수 있을 정도로 치명적인 실수도 전혀 대응하지 못하고 걸어가게 될 수도 있다. ‘눈을 가렸다’라는 비유를 썼지만, 사실 이건 ‘비유’가 아니다. 실제로 프로젝트를 한 달 정도만 참여하면 그 결과물에 대해선 눈이 멀게된다. 설계한 당사자는 모든 기능을 너무나 능숙하게 쓸 수 있기 때문이다. (아니 여기서 이걸 딱 누르면 이렇게 딱 되는건데, 이걸 왜 몰라? 다 바보 아냐?)

그리고, 가급적이면 빠른 시간내에 해보는 것이 좋다고 본다. 눈을 가리고 있기 때문에, ‘완전 엉뚱한 방향’으로 가고 있을 가능성도 있다. 이 때는 둘 중 하나다. 반대 방향으로 가고 있다는 것을 빨리 알아채고 제대로된 방향을 찾느냐, 아주 늦게 알아채고 절망하느냐. 조금이라도 빨리, 눈가리개를 들어서 확인해봐야 한다. 빠른 시간내에 꼭 해봐야 한다. 눈을 감고 시작하기 때문에, 사실 제대로 된 방향으로 가고 있을 확률이 지극히 낮기 때문이다.

그럼 왜, 왜 테스트를 안하게 될까? 크게 두 가지 경우가 있다.

1. 귀찮아서.
사용성 테스트와 인터뷰를 하는 것은 무지무지 귀찮다. 사실 눈가리개를 들어올리는 정도로 설명이 안될 정도로 무지무지 귀찮고 힘들다. 시간도 꽤 걸린다.
인터뷰나 테스트가 쓸모없다고 주장할 근거는 너무나 많다. 통계적으로 무의미한 숫자다, 사용자들은 자신이 원하는 것을 모른다(여기선 꼭 포드와 잡스의 격언이 함께함), 조작이나 유도가 너무 쉽다 등등. 하지만 역시 가장 근본적인 이유는 ‘귀찮음’이라고 본다.
일단, 백만명을 만날 수 없기 때문에 단 한명도 만날 필요가 없다는 것은 말이 안된다. (통계적 의미를 찾는 이에게는 딱 10명만 만나보라는 말을 해주고 싶다. 5명 넘어가면서 계속 똑같은 대답을 듣는 것이 지겨워지기 시작할 것이다. 누구한테 물어봐도 나오는 똑같은 말이 바로 찾아야할 ‘그것’이다)
사용성 테스트는 애당초 사용자들이 원하는 것을 알아내기 위해서 하는 것도 아니다. 그냥 만든걸 주고, 이거 해봐 저거 해봐 하는 것이다. 잘 하면 OK인 것이고, 못하면 거길 수정해야한다는 것을 발견하는 것으로 끝이다. 거기서 ‘그럼 어떻게 하면 잘 할 수 있을거같아?’라고 물어보는 것도 큰 의미는 없다.
조작이나 유도. 무척 쉽긴 하지만, 자기가 직접 설계하고 진심으로 잘되길 원하는 경우라면 굳이 조작이나 유도도 하지 않을 것이다. (반대의 경우가 더 많겠지만, 반대의 경우는 그냥 눈을 가리고 쭉 걸어가는 거라고 보면 된다. 뭐 눈을 감고 걸어가도 운이 좋으면 도착할 수도 있는것 아닌가)
결국 근본적인 원인은 귀찮음인 것… 사용성 테스트나 인터뷰를 완강히 거부하는 사람들을 보자. 혹시 한번도 테스트나 인터뷰를 직접 수행해보지 않은 사람이 아닌가?

2. 잘못 온거면 어떡하지?
잘못온걸 알았다 해도 이미 돌이킬 수 없는 상황에선 위와 같은 두려움이 생기게 된다. (사실 일찍 해도 생긴다) 그래서 그냥 모른척, 끝까지 가보게 된다.

어떻게 할까

여러가지 방법으로 테스트를 진행해봤지만, 음… 일단 지금까지의 미천한 경험으로 미루어봤을 때, 상당히 심플한 테스트 설계 + 최대한 자세한 프로토타입 + 5~7명 정도를 빠르게 여러번 수행하는 것이 가장 효과적인 것 같다. 테스트에서 너무 많은 것을 알아내기 위해 너무 많고 깊은 질문을 하는 것, 페이퍼 프로토타입으로 진행하는 것은 효과가 많이 떨어질 것 같다.

상세하고 깊은 질문의 문제

긴 시간동안 많은 질문을 퍼부어도, 결국 남는 것이 그리 많지 않다는게 일단 문제. 그리고 데이터가 많아져서 분석시간이 오래걸리는 것도 문제. 그리고 질문이 깊어지면 깊어질 수록 인터뷰 대상자는 상상의 나래를 펼치기 때문에 왜곡도 깊어진다는 것이 문제…
무의식적으로 보인 행동을 조용히 관찰하다가, 행동이 딱 끝나면 ‘방금 왜 그렇게 하셨죠?’ 하는 정도의 간단한 질문 까지만 하는게 좋다. 그것도 뭔가 ‘어…’하면서 생각하기 시작하면, 그때부턴 거짓말을 하는걸로 의심해도 될 것이다.
(만약 사용자의 삶이나 실제 사용 패턴을 알아봐야 하는 경우라면, 인터뷰 전에 그 사람의 로그 데이터를 분석해보거나, 다이어리 데이터를 수집하는 것을 병행해야 한다. 인터뷰 대상자가 나쁜 마음을 먹고, 나를 속이려 들기 때문이 아니다. 자기 자신에 대한 기억은 생각보다 엄청나게 부정확하다는 것이 문제다.)

페이퍼 프로토타입의 문제

페이퍼 프로토타입은 프로젝트 내부에서 소통하는데는 쓸 수 있지만, 외부 참가자에게 테스트할 때는 별로 효과적이지 않은 것 같다. 실제 사용성 이슈는 아주 작은 아이콘이나 미묘한 색의 차이에서도 발생하는데, 이런건 페이퍼 프로토타입으로 잡아낼 수는 없다. 그리고 가짜인게 너무 티가 나서 몰입이 쉽지 않다는 것도 문제.

냉장고 정리의 문제

어머니는 이모의 집에 다녀올 때 마다 이모의 냉장고에 대해 푸념을 늘어놓으신다. 냉장고가 꽉 찼고, 그 중 반 이상은 버려야 할 것들이라는 것이다. 반면 어머니는 냉장고 관리가 매우 철저하신 편이다. 항상 반 이상의 공간을 남겨두시고, 냉장고를 열면 왠만하면 뭐가 있는지 쉽게 파악할 수 있게 정리해두신다. 따라서 상해서 버리는 음식도 거의 없다.

냉장고 정리에 어려움을 겪는 사람은 사실 한둘이 아니다. ‘냉장고를 정리해주는’ 업체가 있을 정도이니, 상당히 보편적인 문제라고 할 수 있겠다. 실제로 이모도 이러한 업체의 도움을 받은 적이 있다. ‘냉장고 청소 전문가’가 집으로 와서 냉장고를 한번 싹 치웠지만, 오래 지나지 않아 냉장고는 다시 차올랐다. 그러니 이건 상당히 ‘보편적’이면서도 ‘해결이 매우 어려운 문제’라고 볼 수 있겠다.

이를 해결하기 위한 방안은 무엇일까?

아버지는 항상 냉장고 앞에 메모를 붙여놓아 냉장고 안에 뭐가 있는지 파악할 수 있게 하라는 충고를 주신다. 하지만, 냉장고 정리도 안하는 사람이 그 앞에 꼼꼼하게 메모를 할리가 만무하다. 설령 메모를 한다고 해도 제대로 업데이트가 안될 가능성이 높지 않겠는가. (메모엔 있지만 냉장고 안에는 없다거나, 냉장고 안에는 없지만 메모에는 있다거나…) 어쩌면 냉장고를 정리하는 일에 메모를 정리하는 일까지 밀려서 사태를 더 악화시킬 수도 있다.

냉장고 상태를 악화시키는 습관이 무엇인지를 관찰해보았다. 이모에게서 발견된 가장 근본적인 문제는 ‘검은 비닐봉지’였다.

시장에서 사온 물건은 검은 비닐봉지 안에 담겨있고, 그대로 냉장고 안에 들어간다. 냉장고를 열면 정체를 알 수 없는 검은 비닐봉지들이 가득하고, 그 안에 뭐가 들어있는지 파악할 수가 없다. 검은 비닐봉지 뒤에 있는 검은 비닐봉지 안에 뭐가 있는지는 점점 더 알기 힘들어진다.

냉장고 상태를 악화시키는 또 하나의 근본적인 이유는, 냉장고의 공간 특성 상 ‘먼저 넣은 것’이 더 뒤에 있게 된다는 것이다.

새로운 물건들이 들어가면 더 오래된 음식들은 점점 더 보이지 않는 곳으로 들어가버린다. 설령 투명한 용기에 담았다 해도 보이지 않게 된다.

냉장고 공간이 부족한 것은 냉장고가 작기 때문일까? 냉장고가 큰 것은 오히려 문제를 심화시키는 또 하나의 원인이다. (실제로 이모는 거대한 냉장고 두 개를 운영중이다) 냉장고가 클수록 냉장고가 깊이는 더 깊어지고 보이지 않는 영역은 더 많아진다.

위 세 가지 상황을 종합해보면, 냉장고 정리를 어렵게 하는 것은 하나의 이유로 귀결된다. ‘무엇이 들어있는지 보이지 않는 것’.

나는 이모에게 이런 제안을 하고 싶다.

1. 일단 냉장고를 하나로 줄인다.
2. 절대 검은 봉지를 냉장고 안에 넣지 않는다. 반드시 투명한 용기에 옮겨 담아 넣는다.
3. 냉장고에 새로운 물건을 넣을 때는 반드시 적어도 하나 이상의 물품을 뺀다.
4. 무엇이든 간에 마트에서 대량구입하지 않는다.
5. (손질하고 투명한 용기에 옮겨 담을 시간이 없다면) 비싸더라도 손질이 끝난 걸 산다.

그러면 이모는 냉장고 관리에 성공할 수 있을까? 이 지점에서 나는 다시 회의감이 든다. 나의 제안을 받아들여 해결될 문제였다면 이미 해결되었을 것인데… 저 메시지를 ‘충격’과 함께 전해줄 절대자가 필요할 것 같다.

이상, 냉장고에 대한 단상.

여기까지 생각을 하고 나니, 냉장고의 문제가 UI설계를 하거나 가이드라인을 만들 때 부딛히는 문제와 상당히 비슷하다는 것을 깨닫게 된다.

• 새로운 기능이 생기면, 영 알기 어려운 레이블을 붙이거나 모호한 아이콘을 붙여놓은 채로 화면안에 밀어 넣는다. (검은 봉지 안의 음식들)
• 기능들이 들어감에 따라 안그래도 복잡한 화면이 점점 더 복잡해진다. (냉장고의 공간 부족)
• 차오르는 기능들을 감당하지 못하고 고민하다가 그 기능들을 쓸어담은 새로운 공간을 뚫는다. (냉장고 추가)
• 애매한 기능들이 새로운 공간을 가득 채우고, 거기는 아무도 열어보고 싶지 않은 공간으로 남는다. 이들은 퍼포먼스를 떨어뜨린다. (추가한 냉장고 역시 가득 차버리고 전기를 잡아먹는다)
• 기능 정리를 마음 먹고 누군가가 화면의 모든 기능들을 리스트업한다. (냉장고 앞 메모)
• 하지만 리스트는 곧 낡아서 아무도 보지 않게 된다. 화면은 여전히 복잡하고, 리스트 정리는 누군가의 업무로 추가된다. (업데이트 안되는 메모)
• 이를 정리하기 위해 가이드라인이 제시된다. (냉장고 정리 컨설팅)
• 하지만 가이드라인을 추진할 파워가 없어서 가이드라인은 현실과 멀어지고, ‘가이드라인 정리’라는 새로운 업무만 생겨난다.

그럼 어떻게 해야하나. 냉장고를 정리하려면. 요즘 내가 고민하는 것이 어쩌면, 아주 거대한 냉장고를 정리하는 일에 다름아니라는 생각이 든다.

속고있다는 기분을 주는 것들

• 통신요금 약정과 스마트폰 단말 가격
• 오픈마켓의 최저가
• 포털 검색으로 찾은 맛집 블로그들
• 각종 보험들
• 신용카드 혜택 설명
• 적금, 예금, 주식, 펀드 수익률
• 마트, 통신사, 백화점 등 멤버십 혜택

종합해보면 아마, 이 한마디로 정리할 수 있겠다.

나보다 싸게 사고 있는 사람이 있는 것 같아.

이런 것들만 없어져도 스트레스가 반은 줄어들 것 같은데.

고객 조사를 대하는 자세

오늘 동료들과 이런저런 잡담을 나누다가 사용자 인터뷰에 대한 이야기를 나누었다. 함께 대화한 한 사람은 사용자 인터뷰, 고객 조사들에 대해 부정적이었다. 인터뷰를 통해 뭔가에 대한 답을 얻으려면 사람들의 속마음을 단번에 캐낼 수 있는 ‘신의 질문’을 해야하는데, 그런 질문은 만들기가 몹시 어렵고, 실제로 그게 가능한 것조차 의심스럽다 했다. 그리고 좋은 제품을 만들려면 만드는 사람 스스로가 그것에 애정을 가지고 장인정신을 발휘하는 것이 근본적인 방법이며, 그건 누군가에게 ‘물어봐서’ 할 수 있는 것이 아니라고 했다.

나는 여러모로 동감할 수 밖에 없었다. ‘시장조사’의 세계에서 사용되던 각종 고객조사 기법은 최근 ‘가루가 되게’ 까이고 있는 것이 현실이다. FGI는 몹시 인위적인 환경에서 진행되며 옆사람의 의견에 크게 방해를 받는다는 이유로 가장 강하게 비판받고 있고, 서베이 기법은 신뢰성있는 답변을 기대하기 어렵고 질문지에 따라 편향되기 쉽다는 이유로 비판받고 있다. 1:1로 진행하는 인뎁스 인터뷰는 FGI와 같이 ‘옆사람에 의한 방해’를 받지는 않으나 인터뷰어의 말에 유도당하기 쉽고, 근본적으로 뭔가 ‘물어보는 것’에 답변을 한다는 점 때문에 마찬가지로 공격받고 있고, ‘정성적 인터뷰’가 아닌 ‘정량적 측정’의 관점으로 수행하는 ‘사용성 테스트’ 역시 현실과 동떨어진 환경에서 진행한다는 이유로, 또 ‘특정 태스크를 더 빨리 수행한다는 것이 그 제품의 성공을 의미하지는 않는다’는 식의 논리로 비판받고있다.

나 역시 여러 경로로 위와 같은 의견들을 들으면서 많은 고민을 했다. 정녕 사용자들의 의견을 듣는 것은 다 쓸모없는 일일까?

그렇지는 않다고 본다.

어떤 서비스나 제품을 만들고, 그것을 나 혼자, 혹은 나와 아주 비슷한 사람들만 쓰는 것이 아니라면 분명 그걸 사용하는 사람들의 의견을 들어볼 필요는 있다. 서비스나 제품을 만드는 사람이 ‘대단히 심각한 착각’을 하는 경우가 있기 때문이다. 사용자들의 의견을 듣다보면, ‘미처 내가 고려하지 못한 상황, 심리, 습관, 환경’들을 발견하게 되는 경우가 많다.

보통 문제는, 사용자들의 의견을 듣는 그 자체에 있는 것이 아니라 고객 조사를 대하는 자세에서 발생한다.

제일 좋지 않은 상황은 ‘책임 회피’를 위해 고객 조사를 수행하는 경우이다. ‘A 보다는 B를 좋아한다고 답한 사람이 더 많으니 B안으로 갑시다’라는 식의 의사결정을 내리고 결과가 좋지 않은 경우 ‘나는 조사에 따랐을 뿐’이라는 식의 회피를 하는 것이다. 이러한 경우, 고객 조사는 ‘사용자를 이해하고, 생각지 못한 상황을 발견한다’는 본래의 취지를 잃고 ‘결정하기 어려운 문제에 대한 투표’로 전락한다. 그렇게 내려진 결정들이 일관성을 가질리 만무하다. 연이은 실패 속에 책임지는 사람은 아무도 남지 않는다. 조사는 ‘남용’되고 결정은 계속 조사 결과에 기반하여 내려지지만 아무도 조사 자체를 신뢰하지는 않게 된다.

이러한 이유로, 나는 어떤 의사결정을 위해 FGI나 인뎁스 인터뷰, 서베이를 활용하는 것을 그다지 좋아하지 않는다. 고객 조사는 ‘결정’을 위해 하기보다는 ‘이해’를 위해 진행하는 것이 바람직하다. ‘당신이 원하는 기능은 무엇입니까? 이게 출시 되면 구입할 의향이 있으십니까? A와 B중에 더 좋은건 무엇인가요?’라고, 직접적으로 묻기 보다는 ‘당신이 하는 일은 무엇입니까? 그 일을 어떻게 합니까? 당신이 방금 전에 산 것은 무엇입니까?’와 같이 그 사람의 삶이나 습관 자체를 알아보는 것이 더 중요할 것이다.

그걸 알아보기 위해 최근 강조되고 있는 것이 ‘관찰’이다. 특히 각광받는 것은 ‘숨어서 지켜보는 것’이다. (물론 이것이 사생활 침해 논란을 낳고있는 것은 사실이지만) 묵묵히 관찰하는 동안 의사결정권자는 뭐가 더 좋은지 물어보고 싶은 충동을 참기 어려울 것이다. 하지만 인내심을 가지고 지켜볼 수 있어야 하며, 결정이 뚝 떨어지기를 기대하기 보다는 끈질기게 관찰하고 냉정하게 분석하고 많이 고민할 수 있어야 하겠다.

10대를 대상으로 한 무언가를 만들어야겠다면 10대를 관찰실에 모아놓고 A안과 B안을 선택하게 하기보다는, 그들을 데리고 밥한끼를 사주면서 그들이 신나게 수다떠는 것을 옆에서 조용히 듣고있는 것이 훨씬 효과적일 것이다.