• 주제 : 설마 문항을 그렇게 만드실 건 아니시죠? - 설문조사 디자인 튜토리얼
  • 강연자 : 안시형 - 넥슨코리아 / Nexon Korea
  • 발표분야 : 프로덕션&운영, 데이터분석
  • 권장 대상 : UX리서처, 게임 디자이너, 게임 마케터 등 업무에 설문을 활용하는 분들 누구나
  • 난이도 : 사전지식 불필요 : 관련 전공이나 경력이 전혀 없더라도 이해할 수 있는 내용

    • [강연 주제] 누구나 쉽게 만들 수 있고, 배포도 가능한 설문조사.
    흔히 설문지를 만드는 것이 쉬운 일이라고 생각하실 수도 있지만, 의외로 굉장히 섬세함이 필요하고 깊이 파고들수록 끝이 없는 게 설문조사를 만드는 일입니다. 잘못된 설문지는 잘못된 결과 해석으로 이어지고, 의사결정에까지 영향을 미칠 수도 있습니다. 이번 세션에서는 더 나은 의사결정을 위해, 설문지를 만들기 전에 알아야 할 최소한의 내용들을 알려드립니다.

    서비스로서의 게임이 대중화된 오늘날 모든 게임에 해당되는 이야기가 되었지만, 출시 이후에도 오래도록 콘텐츠를 업데이트하며 지속적인 서비스를 이어가야 하는 온라인게임일수록 이용자의 반응을 꾸준히 확인하고, 이들의 의견을 서비스에 반영하는 것이 무엇보다 중요하다. 설문조사는 많은 수의 조사 대상을 바탕으로 비교적 빠르게 의견을 모을 수 있는 조사 방법으로 널리 알려진 방법이며, 넥슨은 자사가 서비스하고 있는 여러 온라인게임에서 상당히 다채롭게 활용하고 있기도 하다.

    이번 NDC 2022 첫째날에는 넥슨코리아 인텔리전스랩스 게임UX분석팀의 안시형 UX리서처가 이야기하는 설문 조사 구성 시 주의해야 할 점에 대해 들어볼 수 있었다. 일견 간단하고 쉬워 보이지만, 의외로 굉장한 섬세함을 요구하는 설무조사 구성 방법과 주의사항, 그리고 몇가지 팁에 대해 확인해 보자.



    ■ PART #1 - 설문 조사에서 주의해야 할 질문들

    본격적인 강연을 시작하기에 앞서, 안시형 리서처는 설문조사라는 것이 일견 쉬워 보일 수 있지만, 질문이 조금만 잘못되어도 신뢰할 수 없는 결과로 이어지게 되고, 그 결과로 잘못된 해석을 하게 될 경우 잘못된 의사 결정까지 이어질 수 있기 때문에 신중해야 한다고 강조했다. 설문을 통해 의사 결정을 해야 하는 상황이라면 설문지 문항을 어떻게 디자인하는지가 매우 중요하다는 것이다.

    처음으로 설문 조사를 통해 하지 말아야 할 질문에 대해 이야기하기 시작한 그는 '유도하는 질문'과 '모호한 질문', 응답자가 대답할 수 없는 질문을 문항에 구성하는 것은 피해야 한다고 조언했다. '유도하는 질문'에 대한 예시는 '인벤토리 공간이 더 늘어나야 한다고 생각하시나요?' 라는 질문이었다. 질문 자체에 인벤토리 공간이 부족하다는 질문자의 의도가 드러나기 때문에 편향된 결과를 얻을 가능성이 높기 때문이다.

    이 경우 질문을 '인벤토리 공간은 어땠나요?' 등 최대한 중립적인 문항을 활용하면 느낌이 달라진다. 선택지 또한 부족하다, 널널하다 등 응답자의 견해를 잘 나타낼 수 있도록 균형 있게 배치해 특정한 답변을 유도하지 않도록 하는 것이 중요하다.


    다음으로 경계해야 할 모호한 질문의 사례는 '불편하거나 재미없었던 콘텐츠를 선택해 주세요'와 같은 이중 질문을 피해야 한다. 불편한 콘텐츠와 재미없는 콘텐츠가 서로 다를 수 있으며, 질문과 답변을 보는 사람에 따라 다르게 해석할 여지가 있어 주의가 필요하다.

    마찬가지로 '어떤 장르의 게임을 즐기고 있나요' 라는 질문 또한 응답자마다 생각하는 '장르'의 정의가 달라 모호한 질문이다. 이 경우에는 질문자가 생각하는 장르의 예시를 명확하게 정의해 주는 것이 좋다. PC나 모바일 등 플랫폼에 따라 즐기는 게임이 다를 수도 있으니, 설문의 목적에 맞게 특정 플랫폼에 한정하여 질문을 구성하는 것도 좋다.

    마지막으로 응답자가 대답할 수 없는 질문은 문항에서 제외하는 것이 필요하다. 너무 오래되어서 기억이 나지 않는 사항에 대해 질문하는 경우 의미가 없는데, 예를 들어 한 달 전에 진행한 튜토리얼이나 쉽게 기억하기 힘든 사소한 부분에 대해 질문하는 것이 그렇다. 또 응답 결과로 인해 누군가에게 악영향을 미치거나, 남들에게 솔직하게 말하기 어려운 상황에 대해 물어보는 것도 편향을 일으킬 수 있어 주의해야 한다. 그럼에도 불구하고 질문을 해야 하는 경우, '잘 모르겠음', '경험 없음' 등을 선택지에 추가하는 방법이 있다.


    ■ PART #2 - 객관식 선택지를 구성할 때 알아야할 것

    다음으로는 설문조사 내에 객관식 선택지를 구성함에 있어 알아두면 좋은 요소에 대한 강연이 이어졌다. 첫 번째 예시는 하루 평균 모바일게임 플레이 시간을 물어보는 문항으로, 강연자는 객관식 답변 중 2시간 이상과 4시간 미만 사이에 해당하는 답변이 존재하지 않는 점을 지적했다. 이 문제의 핵심은 응답자가 대답하고 싶은 선택지가 존재하지 않는다는 것으로, 선택지는 최대한 구체적으로 제시해야 정확한 응답을 얻을 수 있음을 기억해야 한다.

    다음 예시는 특정 아이템 A를 사용하지 않았을 때 그 이유를 묻는 예시다. 이것과 유사한 형태의 질문에서 한쪽 답변에 응답자가 몰리는 현상이 발생할 경우, 선택지 구성이 제대로 되어 있지 않을 가능성이 높다는 것이 안시형 리서처의 설명이다. 응답자가 원하는 내용의 답변이 선택지에 없을 경우, 본인의 생각과 다르더라도 가장 비슷한 선택지를 선택할 가능성이 높기 때문이다.


    평가형 척도를 사용하여 질문을 하는 문항의 경우, 비교 대상을 활용하면 그렇지 않은 것보다 유의미한 결과를 기대할 수 있다. 예를 들어 'A게임은 얼마나 재미있었나요?' 라는 질문에 0점부터 10점까지 평가형 척도를 제공했다고 가정했을 때, 평균 답변이 6.5점일 경우에는 해당 게임이 실제로 6.5점짜리인지 확인하기 어렵다. 그러나 다른 종류의 게임인 B게임을 비교 대상에 포함해 질문한다면, B게임의 점수와 A게임의 점수를 종합해 상대적으로 어떤 게임을 더 재미있게 여기는지는 확인이 가능하다.

    물론, 서로 다른 게임에 점수를 매기는 것은 매우 주관적인 영역으로 설문에 활용하기 힘든 케이스지만, 한 설문지 안에서 콘텐츠 사이의 만족도 비교나 캐릭터 사이의 매력도 측정, 플레이 시점에 따른 변화 등 유사한 카테고리 내에서 비교가 필요한 경우 유용하게 사용할 수 있다.

    모든 객관식 문항에 순위를 매기는 질문을 유의하여 활용해야 한다. 응답자들은 대체로 가장 높은 순위와 낮은 순위의 항목에 대해서는 분명한 반면 중간 순위에 위치하는 항목에 대해서는 크게 신경을 쓰지 않는 경우가 많다. 따라서 이 경우 리스트 중 가장 좋아하는 것 3순위, 가장 싫은 것 3순위 정도로 분할하여 질문하는 것이 도움이 될 수 있다.




    ■ PART #3 - 주관식 질문이 필요한 경우

    그렇다면 설문지 내에 주관식 질문이 필요한 경우는 언제일까. 주로 특정 질문에 대해 응답자가 해당 답변을 선택한 이유가 궁금할 경우 주관식 문항을 함께 활용하면 큰 도움이 된다.

    위에서 사례로 살펴본 '이 게임은 얼마나 재미있었나요'라는 질문에 누군가 8점을 주었다고 가정해 보자. 해당 질문만 가지고는 이 응답자가 어째서 게임에 8점을 주었는지 명확하게 알 수 없다는 한계가 드러난다. 이 때 해당 질문 바로 아래에 위와 같은 답변을 한 이유에 대해 묻는 주관식 문항을 삽입한다면 응답자의 생각을 보다 자세히 확인할 수 있다.


    하지만, 주관식 문항을 사용하는 데 있어서도 주의해야 할 것이 있다. 맥락이 비슷한 질문에는 비슷한 답변만 돌아오는 경우가 발생한다는 것이다. 또한, 주관식 문항이 많을수록 응답자는 설문 조사를 수행하는 데 있어 큰 피로감을 느끼게 되므로, 너무 많은 주관식을 배치하면 오히려 응답을 포기하거나 답변을 대충 하는 경우가 생긴다. 따라서 주관식 문항은 설문 조사의 목적과 상황, 그리고 응답자의 피로도를 고려하여 최소한의 문항으로 활용하는 것이 좋다.

    ■ PART #4 - 더 좋은 설문을 만드는 팁

    이어서 안시형 리서처는 더욱 좋은 설문을 구성하는 다섯 가지 팁을 공유했다. 그 첫째는 같은 질문이라도 선택지의 순서에 따라서 응답 결과가 달라질 수 있는 '순서 효과'를 의식해야 한다는 것이다. 보다 정확한 답변을 얻기 위해서는 선택 문항이 많을 경우 순서를 무작위로 배치하는 것이 좋다.

    응답자의 응답 환경을 고려하는 것도 중요하다. 가령 모바일 플랫폼에서 진행하는 설문지라면, 스크롤 없이 전체 질문과 선택지를 한 화면에서 볼 수 있도록 구성하면 응답자에게 피로감을 덜 줄 수 있다.

    안시형 리서처는 설문지 전체 분량 디자인에 대한 명확한 답은 없지만, 설문 대상이나 목적, 그리고 환경에 따라 대략적인 차이를 두고 진행하면 좋다고 설명했다. 그가 권장하는 설문 분량은 가벼운 의견 수집일 경우 2분 내외, 온라인 설문 조사는 최대 5분에서 10분이 넘지 않는 수준으로 하는 것이 좋으며, FGT처럼 시간을 정해놓고 진행하는 집중된 환경이라면 최대 20분까지 가능하다. 또한, 응답자에게 소정의 보상을 제공하거나, 사내 구성원을 대상으로 진행할 경우 보다 성실한 응답을 기대할 수 있다.


    한편, 설문을 제대로 만든 것이 맞나 확신하기 어려울 때는 주변에 부탁해 미리 응답과 피드백을 받아보는 것도 좋다. 사람마다 생각이 다르기 때문에 의도와 다르게 전달되는 질문은 없는지, 또 모호하거나 이해하기 어려운 질문은 없는지, 설문 자체에 오류는 없는지 체크해보면 설문의 완성도를 높이는 데 큰 도움이 된다.

    마지막으로, 안시형 리서처는 응답자의 의견이 집단 전체의 의견을 대변한다고 보기에는 무리가 있기 때문에, 설문 응답자 구성을 최대한 전체와 비슷하도록 설정하는 것이 필요하다고 덧붙였다. 여기에 현실적인 한계가 있을 경우 결과를 분석할 때 설문에 응답한 이들의 특성을 함께 고려하는 것도 매우 중요하다.

    ■ PART #5 - 설문의 한계를 보완하기

    설문 조사는 복수의 응답자에게 동시에, 또 짧은 시간에 의견을 듣고 싶을때 아주 좋은 수단이지만, 그 한계 또한 뚜렷하다. 첫째로 응답자의 기억에 의존해야 한다는 단점이 있는데, 비교적 최근에 일어난 사건에 대해 질문하더다도 응답 당시에 기억이 나지 않을 수도 있기 때문이다.

    또 응답자 스스로도 모르는 내용일 경우가 있을 수도 있으며, 응답자가 답변을 진실되게 했는지 판별하는 것도 어렵다. 다시 말하면, 설문에 대한 응답을 완벽하게 알 수 없다는 아쉬움이 남는 것이다. 게다가 응답자의 답변을 예측할 수 없기에 인터뷰처럼 꼬리 질문을 이어나가는 것도 어려우며, 위에서 살펴본 대로 주관식 문항은 응답자의 피로도를 가중시킬 수 있다.


    이처럼 설문 조사가 가진 한계들은 이를 상호 보완하는 다른 조사 방법을 병행하는 것으로 어느 정도 해결이 가능하다. 예를 들어 특정 이용자를 대상으로 심층 인터뷰를 진행하거나, 사용성 테스트, 또는 여러 명을 대상으로 게임을 플레이하면서 당시의 경험을 일기 형식으로 남기는 다이어리 스터디 등을 병행하는 것이 가능하다.

    발표를 마치며, 안시형 리서처는 "올바른 질문이 좋은 인사이트를 얻을 수 있다"며, "설문을 통해서 더 좋은 인사이트를 얻고 더 나은 의사 결정을 하는 데 도움이 되기를 바란다"고 전했다.