날짜 :
2018-10-17 23:48
댓글 :
16

[IGC2018] '리니지M'의 사례로 배우는 효율적인 호환성 테스트 방법

박광석 기자 (Robiin@inven.co.kr)
▲ 엔씨소프트 이호승 개발자

[인벤게임컨퍼런스(IGC) 발표자 소개] 이호승 개발자는 게임잡지 필자부터 보드게임 카페 CEO까지 게임과 관련된 다양한 직무에 종사한 후, 2004년부터 지금까지 엔씨소프트 QA센터에서 근무 중이다. 현재는 엔씨소프트 모바일 게임의 비기능 테스트 업무를 수행하고 있다.

얼마 전 모바일 앱 인텔리전스 플랫폼 앱애니가 안드로이드 출시 10주년을 기념해 2018년 8월까지 전 세계 앱 시장을 분석한 보고서를 발표했다. 여기에서는 지금까지 가장 많은 누적 다운로드를 기록한 게임은 물론 전세계 누적 소비자 지출 상위 게임 앱 목록도 살펴볼 수 있었는데, 10위 권 내에서는 2개의 한국 게임도 포함됐다. 엔씨소프트의 '리니지M'도 그중 하나다.

IGC 둘째 날, 엔씨소프트 이호승 개발자는 '리니지M'의 개발과 라이브 서비스에서 어떻게 호환성 테스트가 진행됐는지 소개하는 강연을 준비했다. 국내 모바일 게임 역사상 전무후무한 기록을 세웠다고 말해도 전혀 과언이 아닌 '리니지M'인 만큼, 모바일 게임의 호환성 테스트 업무 경험과 자동화 적용 사례를 소개하는 그의 강연에는 현직 개발자부터 학생까지 다양한 참관객들의 관심이 모였다.



■ '모바일 게임 호환성 테스트'에 대해 알아보자!

◎ 모바일 게임 호환성 테스트, 왜 필요할까?

많은 유저들이 게임을 즐기기를 원하고, 개발자들은 그러한 게임을 만드는 것을 목표로 노력한다. 하지만 이러한 모든 일은 게임이 우선 제대로 설치되어야 시작될 수 있다. 사용자와의 첫 만남을 부드럽게 만드는 것, 이것이 모바일 게임 호환성 테스트를 해야 하는 가장 중요한 이유다.

모바일 디바이스, 그러니까 핸드폰은 그 기종도 다양하고 설치된 OS도 가지각색이다. 호환성 테스트가 필요한 이유는 크게 이 두 카테고리가 있기 때문이라고 구분할 수 있다.

비교적 그 수가 제한된 iOS와는 달리 안드로이드 기기는 디바이스의 종류가 천차만별이다. 약 4천 여종의 서로 다른 기기가 접속 중인데, 점유율과 접속 횟수를 기준으로 트리맵으로 표현한 그림을 보면 정말 다양한 안드로이드 기기가 동시에 활용되고 있음을 확인할 수 있다. 안드로이드의 호환성 테스트에 더 집중하는 이유는 여기에 있다.



◎ 호환성 테스트를 위해 '모바일 기기'에서 고려해야하는 부분

▲ 실제 호환성 테스트에 사용되고 있는 모바일 기기의 모습

디자인부터 가격까지 천차만별인 모바일 기기들은 모두 각기 다른 특성을 가지고 있다. 그중에서도 모바일 게임 호환성 테스트를 위해 꼭 고려해야 하는 특징은 '화면 크기', 'OpenGL ES', 'AP', '램'의 네 가지다. 가장 단순하지만, 가장 먼저 봐야 하는 것은 모바일 기기 화면의 크기다. 화면 크기에 따라 게임이 다르게 보이기 때문에 호환성 테스트에서는 굉장히 중요한 역할을 한다. 물론 테스트에는 다양한 크기의 화면을 가진 모바일 기기를 준비하고 동시에 테스트할 필요가 있다.

물론, OpenGL ES 버전과 내수용과 수출용에 따라서도 달라지는 AP, 메모리도 호환성 테스트에서 항시 함께 측정되고 관리되어야하는 부분이라는 것을 잊어서는 안된다.



◎ 호환성 테스트를 위해 '운영체제(OS)'에서 고려해야하는 부분

구글 개발자 사이트를 통해 공개된 안드로이드 사용자들의 OS 사용 분포도를 보면, 작년에 출시된 8.0 오레오 OS 점유율이 아직 12%에 그치는 것을 확인할 수 있다. 신형 안드로이드 OS가 사용자에게 전달되는 과정을 통해 발생한 '파편화'가 그 원인이다.

구글이 레퍼런스 OS를 만들면 제조사가 AP를 개발하고, 이렇게 만들어진 칩을 포함해서 기기 제조사들이 저마다 기기를 만든다. 국내의 경우 여기서 통신사들이 한 번 더 개입한다. 이후 사용자에게 전달되는 것이다. 구글이 새로운 OS 업데이트를 진행하면 이 모든 과정이 전부 다시 진행되므로, 사용자는 처음 구매했을 당시의 OS를 쭉 유지하거나, 한두 번 업데이트하는 것에 그치는 경우가 많다.

애플은 안드로이드에 비해 굉장히 단순한 형태로 진행된다. 애플이 앞으로 아이폰에 포함되는 GPU를 독자적으로 개발하게 되면 안드로이드와의 경계는 더 극명하게 나뉠 것으로 보인다.

▲ 안드로이드에 호환성 이슈가 자주 발생하는 이유는 심한 OS 파편화 때문이다



■ '리니지M'의 호환성 테스트는 어떻게?


이호승 개발자가 말하는 '리니지M'의 성능 측정에서 가장 중요한 포인트는 'FPS' 체크다. 메모리 사용량과 발열 체크가 그 뒤를 잇고, 이외에도 네트워크 사용량 측정이 필요하다.

프레임 체크는 보통 30분가량의 테스트 이후에도 일정한 FPS가 유지될 수 있도록 확인하는 방식으로 진행된다. 테스트 과정을 통해 산출된 결과는 프레임 상향을 위해 최적화 담당자에게 전달되고, 이들과 협업하는 작업이 이어진다. 이외에도 콘텐츠 업데이트에 따라 메모리에 어떤 변화가 발생하는지 파악하고, 실측 데이터를 기반으로 기기의 발열 수치를 낮추는 작업도 반복됐다.

게임 출시 전에는 빌드가 나오면 2주가량 호환성 테스트를 진행하는 방식으로 일정 기간의 텀을 활용할 수 있으나, 곧 그렇게 할 수 없는 상황이 닥쳐온다. 라이브 서비스 이후에는 빠른 주기로 업데이트가 계속 추가되기 때문이다.

여기에 격주로 클라이언트 업데이트까지 함께 진행되면 테스트가 업데이트 속도를 도저히 따라잡을 수 없는 상황이 발생하는데, 이때를 위해 새롭게 적용하게 된 것이 바로 호환성 테스트의 '자동화'다.


엔씨소프트에서는 모바일 랩실에 보유한 기기를 활용해 자동화 서버를 마련하고, 게임의 권장사양과 최저사양, 그리고 최소 지원 OS가 설치된 기기로 호환성 테스트를 진행 중이다. 게임 테스트에서는 로그인과 캐릭터 생성은 물론 상점 구매 튜토리얼, 아이템 장착, 변신 튜토리얼, 자동 전투 사냥, 기타 다양한 것들이 모두 자동으로 진행된다. 여기에 활용된 기술은 모두 애피움 프레임워크가 적용되어 있는데, 일반적인 애피움으로는 게임에 나오는 오브젝트를 딸 수 없기 때문에 추가적인 개발 과정이 필요하다.

테스트 이후 결과 화면에서는 기기별로 나뉘어진 스크린샷을 볼 수 있기 때문에 특별한 모니터링 없이도 테스트 결과를 모두 체크할 수 있고, 체크 리스트도 자동으로 작성된다. '리니지M'의 호환성 테스트 자동화에 사용된 스크립트는 이호승 개발자가 직접 오브젝트 방식으로 짜서 마련한 것인데, 이와 관련하여 기술적으로 더 자세한 내용은 지난 IGC 2016에서 진행된 엔씨소프트 김종원 팀장의 강연을 통해 먼저 소개된 바 있다.

관련기사 : [IGC2016] "아직 먼 자동화 테스트, 그러나 진보 중입니다", NC 김종원 팀장

▲ 테스트 자동화를 위해 이호승 개발자는 직접 코드를 짜서 사용했다

'리니지M'의 테스트 자동화 과정에서는 하드웨어 버튼에 대한 테스트도 함께 진행되고 있다. 게임이 기동되고 있는 상황에서 모바일 기기의 뒤로가기, 홈버튼, 메뉴버튼, 소리조절 버튼이 눌렸을 때 크래시가 발생하지는 않는지 확인하는 절차다. 엔씨소프트는 이러한 절차를 모두 거친 후에 '리니지M'의 라이브 서비스를 시작했다.



■ 테스트 자동화를 통해 얻은것은? '미션 원 아워'


이호승 개발자는 테스트 자동화를 통해 단 한 시간 만에 빌드 테스트를 마치는 것이 가능해졌다고 설명했다. 현재 라이브되고 있는 '리니지M'의 테스트를 위해서 총 12대의 기기가 마련되어 있는데, 사람은 단 한 명만 있어도 테스트가 가능하다. 12대의 모바일 기기와 자동화 프레임이 있고, 테스트를 시작을 알리고 한 시간이면 모든 테스트가 완료되는 식이다.

수치상으로 테스트 시간이 크게 줄었다고 할 수는 없지만, 사람이 직접 테스트하는 것보다는 훨씬 더 많은 시간이 절약된다. 한 사람이 하나의 기기로 한 시간 동안 테스트를 한다고 하면 12대의 기기를 테스트하기 위해서는 총 12시간이 필요한데, 자동화 프레임을 활용하면 단 한 시간이면 충분하다. 단순 계산으로 1년을 테스트한다고 했을 때, 약 700시간 이상이 절약되는 셈이다.

그는 현재 단 12대의 모바일 기기만 테스트에 활용하고 있지만, 조만간 30대로 규모를 키우고, 리니지M 이외에도 엔씨소프트가 준비하고 있는 '리니지2M', '블레이드앤소울2' 등 다양한 신작 게임에 테스트 자동화를 도입해나갈 계획이라고 밝혔다.

▲ 호환성 이슈를 해결할 수 있는 더 촘촘한 그물이 마련된 상태

끝으로 그는 소규모 개발사와 작은 개발 그룹에서 호환성 테스트를 진행할 때 활용할 수 있는 다섯 가지 팁을 소개했다. 각각 '권장사양, 최소사양 기기에서 테스트하기', 'OS별 테스트하기', 'API 레벨별 테스트하기', 'AP별 테스트하기', 그리고 '테스트 자동화 적용하기'다.

작은 개발사일수록 테스트 자동화를 활용하면 대형 회사만큼 테스트 영역을 넓힐 수 있을 것이라며, 테스트 자동화를 적용하는 것이 가장 좋은 선택이 될 것이라고 조언했다.
SNS 공유

코멘트

새로고침
새로고침

전체 리포터 58개 등록됨 (2018-11-21 ~ 2018-05-20)

[패치] 어스 바인드 하향 및 어스 가디언 스킬 추가! 21일 업데이트 정리 [4]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-11-21 17:46
그동안 전투에서 상대방의 핵심 인물의 움직임을 저지하는 역할을 해왔던 어스 바인드 스킬이 이번 업데이트로 하향됐다. 대신 미구현 상태였던 '어스 가디언' 스킬이 추가되어 땅 요정의 아쉬움을 약간.....
[패치] 2주 동안 특수 던전 돌면 축복의 상자 획득! 14일 업데이트 정리 [12]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-11-14 16:07
이번 주 업데이트는 특수 던전에서 드래곤의 다이아몬드 등이 나오는 '축복의 상자'가 드롭되는 한편, 케레니스의 봉인된 상자 이벤트가 진행된다. 또한, 전설 장비 한정 제작 물품이 변경되어 진명황의.....
[패치] 원작과 같아진 라스타바드 던전 구조! 7일 업데이트 정리 [12]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-11-07 13:54
금일 업데이트로 개편작업으로 인해 닫혀있던 라스타바드 던전이 다시 오픈됐다. 다시 오픈된 라스타바드 던전은 지하 대공동과 디아드 요새 던전이 사라졌으며, 라스타바드 지역의 지형이 바뀌었다. 그.....
[패치] 명예 코인으로 캐시 장비 및 변신, 인형 구매 가능! 31일 업데이트 정리 [18]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-10-31 17:46
금일 업데이트의 주요 사항은 이벤트 던전 '국왕의 수렵 사냥터'가 개방되는 한편, 2주 동안 명예 코인으로 캐시 반지, 귀걸이, 문장, 변신, 인형 뽑기 등을 구입할 수 있게 된다. 또한, 11월 6일까지 1.....
[국감2018⑨] '개평', '슬롯머신'... 자극적 단어만 남은 확률형 아이템 첫 국감 [135]
게임뉴스 | 박태학,정필권,이두현 기자 (desk@inven.co.kr) | 2018-10-29 17:08
29일 국회에서 개최된 문화체육관광부 국정감사에 엔씨소프트 김택진 대표가 증인으로 출석했다. 더불어민주당 손혜원 의원은 "엔씨소프트에서 개발, 서비스 중인 '리니지M'의 확률 시스템이 사행성을 띈.....
[패치] 문양 시스템 추가 및 할로윈 이벤트 시작! 25일 업데이트 정리 [6]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-10-25 18:00
25일 업데이트 이후 할로윈 이벤트가 시작되는 한편, 새로운 시스템 '문양'이 추가됐다. 문양은 캐릭터의 능력을 증가시키는 시스템으로, 캐릭터의 생존력과 연관 되어 있는 '에바의 문양'이 우선적으로.....
[정보] 블러드서커는 누가줄까? 현재까지 알려진 '투사'의 드롭 아이템 정보 [37]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-10-19 11:36
투사가 업데이트된 지 약 3주 정도의 시간이 지났습니다. 이번 투사는 경험치 합산 때문에 빠른 속도로 육성이 가능합니다. 그래서 투사를 육성하시는 분들이 꽤 많으신 것 같습니다. 그래서 많은 분들이.....
[IGC2018] '리니지M'의 사례로 배우는 효율적인 호환성 테스트 방법 [16]
게임뉴스 | 박광석 기자 (Robiin@inven.co.kr) | 2018-10-17 23:48
얼마 전 모바일 앱 인텔리전스 플랫폼 앱애니가 안드로이드 출시 10주년을 기념해 2018년 8월까지 전 세계 앱 시장을 분석한 보고서를 발표했다. 여기에는 지금까지 가장 많은 누적 다운로드를 기록한 게...
[패치] 투사 근거리 명중 및 각성 스킬 개편! 17일 업데이트 정리 [15]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-10-17 15:42
17일 업데이트로 각 클래스 별 일부 밸런스가 조정됐다. 대부분 신규 스킬이 추가되거나 스킬의 효과가 조정되었지만, 마법사만 스킬 조정없이 근거리 명중 증가만 진행됐다. 이 외에도 망자들의 콜로세.....
'리니지M' 전 세계 구글플레이 누적 소비자지출 6위 기록 [71]
게임뉴스 | 박태균 기자 (Laff@inven.co.kr) | 2018-10-16 10:44
세계 최대의 모바일 앱 인텔리전스 플랫폼 앱애니는 안드로이드 출시 10주년을 맞이해 2018년 8월까지 전세계 앱 시장을 분석한 보고서를 발표했다. 앱애니는 보고서에서 해당 기간 동안 전세계 구글플레.....
[패치] 단풍놀이 이벤트 시작 및 전설 스킬북 제작 변경! 11일 업데이트 정리 [14]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-10-11 18:05
이번 주 업데이트는 한 주 쉬어가는 분위기다. 금일 업데이트 이후 단풍놀이 이벤트가 시작되고, 라스타바드 전설 제작 리스트가 변경되어 스킬북 제작으로 변경된다. 우선 단풍놀이 이벤트는 체력회복제.....
[패치] 혈맹 레이드 리뉴얼 및 성 던전 등장! 5일 업데이트 정리 [5]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-10-05 16:07
이번주 업데이트는 혈맹 단위의 콘텐츠가 주로 추가되거나 변경됐다. 우선, 혈맹 레이드가 리뉴얼되어 기존 보스들이 사라지고, 새로운 혈맹 보스가 등장했다. 이와 함께 혈맹 레이드 시작 레벨도 변경되.....
[정보] "투사는 무슨 장비를 사용할까?" 장비 추천 및 스킬 구입처 소개 [8]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-09-28 19:01
리니지M의 두 번째 에피소드 'THE LASTAVARD'의 업데이트와 함께 신규 클래스 투사가 등장했다. 투사는 STR 스탯을 기반으로 전용 무기인 ‘체인소드’을 바탕으로 강력한 근거리 공격을 하는 클래스로 .....
[패치] 리니지M 두 번째 에피소드 'THE LASTAVARD', 무엇이 추가되고 바뀌었나? [5]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-09-28 19:01
금일 리니지M 두 번째 에피소드 'THE LASTAVARD'가 업데이트됐다. 대형 업데이트인 만큼 많은 부분이 바뀌고 추가됐다. 우선 예고했던 신규 클래스 투사 및 라스타바드 서버가 추가됐다. 투사는 전용 무.....
리니지M, 두 번째 에피소드 ‘THE LASTAVARD’ 업데이트
게임뉴스 | 박광석 기자 (Robiin@inven.co.kr) | 2018-09-28 15:01
엔씨소프트(대표 김택진, 이하 엔씨(NC))의 모바일 MMORPG(다중접속역할수행게임) 리니지M이 오늘(28일) 두 번째 에피소드 ‘THE LASTAVARD’(이하 ‘라스타바드’)를 업데이트 했다. 모든 이용자는 오늘.....
[정보] 엔드 콘텐츠로 최고의 경험치와 화려한 리워드! PC 리니지로 보는 '라스타바드' [14]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-09-25 11:44
9월 말, 원작에서 등장한 바 있는 '라스타바드 던전'이 리니지M에서는 1~10서버 유저들이 모이는 월드 서버로 등장할 예정이다. 라스타바드 던전은 신일숙 작가의 '리니지 세계관' 에서는 존재하지 않았.....
[패치] 전설 스킬 추가 및 요정 원거리 명중 상향! 19일 업데이트 정리 [23]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2018-09-19 18:16
19일 업데이트로 한가위 이벤트가 진행되는 한편, 각 클래스 별로 전설 등급의 스킬이 추가됐다. 전설 등급 스킬은 혈맹 레벨 15레벨 이상이면 명예 코인 200만 개로 구입할 수 있다. 그 외에도 원거리 .....
리니지M, 두 번째 에피소드 ‘THE LASTAVARD’ 상세 내용 공개 [2]
게임뉴스 | 양영석 기자 (Lavii@inven.co.kr) | 2018-09-19 14:56
㈜엔씨소프트(대표 김택진, 이하 엔씨(NC))의 모바일 MMORPG(다중접속역할수행게임) 리니지M이 오는 28일 업데이트 예정인 두 번째 에피소드 ‘THE LASTAVARD’(이하 ‘라스타바드’)의 상세 내용을 공개.....
리니지M, 두 번째 에피소드 ‘라스타바드’ 사전 예약 개시 [6]
게임뉴스 | 윤서호 기자 (Ruudi@inven.co.kr) | 2018-09-13 12:03
㈜엔씨소프트(대표 김택진, 이하 엔씨)의 모바일 MMORPG 리니지M이 두 번째 에피소드 ‘라스타바드’를 9월 28일 업데이트 한다. 엔씨는 에피소드 출시 기념 사전 예약을 9월 27일까지 진행한다. 사전 예.....
다음 6개월   이전 1 | 2 | 3 | 4 다음   이전 6개월
명칭: 주식회사 인벤 | 등록번호: 경기 아51514 | 등록연월일: 2009. 12. 14 | 제호: 인벤(INVEN)
발행인: 서형준 | 편집인: 강민우 | 발행소: 경기 성남시 분당구 성남대로 331번길 8, 17층
발행연월일: 2004 11. 11 | 전화번호: 02 - 6393 - 7700 | E-mail: help@inven.co.kr

인벤의 콘텐츠 및 기사는 저작권법의 보호를 받으므로, 무단 전재, 복사, 배포 등을 금합니다.
Copyrightⓒ Inven. All rights reserved.