'Halo' 검색 결과 1건

  1. 2009.03.17 게임 UX 테스트 - TRUE 소개 (6)

게임 UX 테스트 - TRUE 소개

요즘 게임 기획 공부를 재미있게 하고 있습니다.

( 지금 읽고 있는 책은 Jesse Schell의 The Art of Game Design인데 아마도 올해 읽은 최고의 책이 될 것 같습니다. 게임 기획자 뿐만 아니라 세상 모든 기획자들이 이 책을 읽으면 좋겠습니다. Gamasutra의 리뷰를 통해 알게 된 책인데 마침 회사 도서관에 있어서 빌려 읽는 중입니다. 이 책 소개는 다음에. ^^ )

오늘은 게임 UX 테스트 방법 및 시스템인 TRUE(Tracking Real-time User Experience)에 대해 쓰려고 합니다. 소스는 두 가지인데요, 하나는 이전 글에서 언급했던 Game Usability라는 책이고, 다른 하나는 CHI 2008에 소개된 TRUE: A comprehensive instrumentation solution for complex systems 라는 논문입니다.

 

1. TRUE?

TRUE란 Tracking Real-time User Experience의 약자인데, 말 그대로 사용자의 경험을 실시간으로 추적(및 분석)하기 위한 방법론 및 시스템을 말합니다. 게임 내에 미리 데이터 추적을 위한 코드를 삽입하고(instrumentation, 일종의 로깅), 이를 수집/분석하는 방식인데, TRUE가 수집하는 정보는 다음과 같습니다:

  • 게임 내 설문을 통한 정성 데이터
  • 게임 내 이벤트(사망, 충돌, 아이템 습득 등등) 및 이벤트가 일어난 정황(맵 이름, 좌표, 시간, 사용중인 아이템 등등)
  • 이벤트 발생 당시의 상황을 보여주는 비디오 캡처

이 세 가지 모두 웹에서 이미 적극적으로 활용되고 있는 방식과 크게 다르지는 않습니다. 게임 내 설문은 웹 사이트에서 간혹 실시하는 온라인 설문이나 “이 정보가 도움이 되었습니까?” 류의 피드백 시스템과 유사합니다. 게임 내 이벤트 및 정황을 기록하고 분석하는 방식은 로그 분석(web analytics)과 유사하며, 비디오 캡처는 마우스 이동 경로 추적이나 heat-map 등 사이트 오버레이(site overlay)에 기반한 분석 기법과 유사합니다.

TRUE의 차별점은 다음과 같습니다:

  • 자동적/유기적 통합 – 예를 들면, 비디오 따로 보고 로그 따로 보는 것이 아니라, 특정 이벤트가 발생한 시점의 영상을 쉽게 찾아볼 수 있습니다. 따라서 정확히 무엇이 문제인지 파악할 수 있습니다.
  • 정보의 시각화(visualization) – 좌표만 보여주고 끝내는 것이 아니라 실제 지도 이미지 위에 시각화하여 보여줍니다. 따라서 예를 들면 정확히 어디 쯤에서 게이머들이 길을 잃는지, 많이 죽는지 등을 알 수 있습니다.
  • drill-down을 통한 상세 분석 및 근본원인분석(RCA – root cause analysis) – 분석의 수준을 점차 상세히 좁혀가며 근본 원인을 단계적으로 파악할 수 있습니다. 이 부분이 특히 흥미로운데, 논문에서는 Halo 2에 TRUE를 적용한 사례를 소개하고 있습니다. 이 부분은 아래에서 상세히 설명하겠습니다.

 

2. Halo 2 사례 분석

논문에서는 Halo 2에 TRUE를 적용한 사례를 소개하고 있는데 아주 흥미롭습니다. Halo 2는… 뭐 소개가 필요 없는 게임이지만 아주 간략히 소개하자면, 대박난 FPS 게임입니다(정말 간단합니다 ㅋㅋ).

File:Halo2 1.jpg

(Halo 2 스크린샷 from Wikipedia)

 

연구 목적은 Halo 2 싱글 플래이 미션 중 과도하게 어려운 부분을 찾아서 적당한 수준으로 개선하는 것이었습니다. 릴리즈된 게임에 추적 코드를 삽입하여 이후 패치 등에 반영하는 방법도 있지만 Halo 2의 경우 릴리즈 전에 lab test를 진행하였다고 하며, 수집한 데이터는 1) 3분 간격으로 게임이 멈추고 나오는 난이도 설문(lab test이기에 가능한 방법이죠. 릴리즈된 게임에서 3분 간격으로 설문을 할 수는 없으니까요), 2) 언제 어디에서 어떻게 죽었는지에 대한 로그 정보, 3) 게임 플레이 비디오, 이렇게 세 종류입니다.

이 데이터를 통해 총 12개 미션 중 열번째 미션에서 게이머들이 가장 많이 죽는다는 사실을 알아냈습니다.

  • 이를 drill-down 했더니, 열번째 미션에 포함된 총 16 차례의 교전(encounter) 중 세번째 교전에서 가장 많이 죽는다는 점을 알 수 있었습니다.
  • 이를 다시 drill-down 했더니, Brutes(적 캐릭터 이름입니다)에 의해 죽는 경우가 85%에 이른다는 점을 다시 알 수 있었고,
  • 또 drill-down하자 Brutes가 던지는 Plasma Grenade에 직격으로 맞아 죽거나, 스플래시 데미지를 입어서 죽는 경우가 대부분이라는 점을 알 수 있었고,
  • 다시 drill-down하여 죽을 때의 비디오를 보았더니 게이머가 반응하기 힘든 타이밍으로 Plasma Grenada를 발사하고 있더라는 사실을 확인할 수 있었다고 합니다.

그래서? Brutes가 Plasma Grenada를 안 쓰도록 수정했다고 합니다 ㅋ

그런데, 여기서 끝이 아닙니다. 게임은 일반적인 애플리케이션과 달라서 “쉬운게 장땡”이 아니기 때문입니다. 너무 쉬우면 지루할 수 있죠. 따라서, “적절하게 쉬워졌나”를 테스트할 필요가 있습니다.

이를 위해 두번째 실험을 하였고(참가자는 첫 실험의 참가자와 다름), 첫번째 실험과 두번째 실험의 난이도 설문을 비교하여 사용자들이 느끼는 주관적 난이도가 적절한지를 평가하였고, 이를 통해 개선이 성공적이었음을 확인할 수 있었다고 합니다. 짝짝짝!

 

3. 웹에 적용하기

논문 소개는 다 했지만 그냥 끝내기는 살짝 아쉬워서 사족을 붙입니다.

좀 전에 TRUE 방법론/시스템이 웹에서의 온라인 설문+로그 분석+사이트 오버레이 등과 유사하다고 하였는데, 가장 큰 차이가 있다면 일반적이고 표준화된 지표(PV, UV, Bounce Rate, Duration Time 등등)를 주로 분석하는 웹과 달리 TRUE는 개별 게임의 컨텍스트에 맞는 지표(Player Death, Item Acquisition 등등)를 분석한다는 점입니다.

웹 분석에서 쓰이는 표준화된 지표로부터 비즈니스적 인사이트를 얻기 위해서는 2차적인 해석이 필요한 경우가 많습니다. 날 데이터(raw data)에 가깝죠. 이러한 지표들은 시스템이 복잡해질수록(Ajax, RIA 등) 그 활용 가치가 떨어지는 단점이 있고, TRUE와 같은 방식이 더 절실해질 것이라고 생각합니다. TRUE를 소개하는 논문의 부제가 “A comprehensive instrumentation solution for complex systems”인 이유도 여기에 있겠죠.

Google Analytics 등 어지간한 분석툴은 사용자 정의 이벤트를 기록/분석하기 위한 방법을 제공하고 있는데 이런 것들을 잘 활용하여 좀 더 의미있고 사이트 특성에 맞는 지표들을 발굴하고 분석할 필요가 있겠습니다.

신고
< Newer     Older >

티스토리 툴바