날짜 :
2018-10-17 23:48
댓글 :
16

[IGC2018] '리니지M'의 사례로 배우는 효율적인 호환성 테스트 방법

박광석 기자 (Robiin@inven.co.kr)
▲ 엔씨소프트 이호승 개발자

[인벤게임컨퍼런스(IGC) 발표자 소개] 이호승 개발자는 게임잡지 필자부터 보드게임 카페 CEO까지 게임과 관련된 다양한 직무에 종사한 후, 2004년부터 지금까지 엔씨소프트 QA센터에서 근무 중이다. 현재는 엔씨소프트 모바일 게임의 비기능 테스트 업무를 수행하고 있다.

얼마 전 모바일 앱 인텔리전스 플랫폼 앱애니가 안드로이드 출시 10주년을 기념해 2018년 8월까지 전 세계 앱 시장을 분석한 보고서를 발표했다. 여기에서는 지금까지 가장 많은 누적 다운로드를 기록한 게임은 물론 전세계 누적 소비자 지출 상위 게임 앱 목록도 살펴볼 수 있었는데, 10위 권 내에서는 2개의 한국 게임도 포함됐다. 엔씨소프트의 '리니지M'도 그중 하나다.

IGC 둘째 날, 엔씨소프트 이호승 개발자는 '리니지M'의 개발과 라이브 서비스에서 어떻게 호환성 테스트가 진행됐는지 소개하는 강연을 준비했다. 국내 모바일 게임 역사상 전무후무한 기록을 세웠다고 말해도 전혀 과언이 아닌 '리니지M'인 만큼, 모바일 게임의 호환성 테스트 업무 경험과 자동화 적용 사례를 소개하는 그의 강연에는 현직 개발자부터 학생까지 다양한 참관객들의 관심이 모였다.



■ '모바일 게임 호환성 테스트'에 대해 알아보자!

◎ 모바일 게임 호환성 테스트, 왜 필요할까?

많은 유저들이 게임을 즐기기를 원하고, 개발자들은 그러한 게임을 만드는 것을 목표로 노력한다. 하지만 이러한 모든 일은 게임이 우선 제대로 설치되어야 시작될 수 있다. 사용자와의 첫 만남을 부드럽게 만드는 것, 이것이 모바일 게임 호환성 테스트를 해야 하는 가장 중요한 이유다.

모바일 디바이스, 그러니까 핸드폰은 그 기종도 다양하고 설치된 OS도 가지각색이다. 호환성 테스트가 필요한 이유는 크게 이 두 카테고리가 있기 때문이라고 구분할 수 있다.

비교적 그 수가 제한된 iOS와는 달리 안드로이드 기기는 디바이스의 종류가 천차만별이다. 약 4천 여종의 서로 다른 기기가 접속 중인데, 점유율과 접속 횟수를 기준으로 트리맵으로 표현한 그림을 보면 정말 다양한 안드로이드 기기가 동시에 활용되고 있음을 확인할 수 있다. 안드로이드의 호환성 테스트에 더 집중하는 이유는 여기에 있다.



◎ 호환성 테스트를 위해 '모바일 기기'에서 고려해야하는 부분

▲ 실제 호환성 테스트에 사용되고 있는 모바일 기기의 모습

디자인부터 가격까지 천차만별인 모바일 기기들은 모두 각기 다른 특성을 가지고 있다. 그중에서도 모바일 게임 호환성 테스트를 위해 꼭 고려해야 하는 특징은 '화면 크기', 'OpenGL ES', 'AP', '램'의 네 가지다. 가장 단순하지만, 가장 먼저 봐야 하는 것은 모바일 기기 화면의 크기다. 화면 크기에 따라 게임이 다르게 보이기 때문에 호환성 테스트에서는 굉장히 중요한 역할을 한다. 물론 테스트에는 다양한 크기의 화면을 가진 모바일 기기를 준비하고 동시에 테스트할 필요가 있다.

물론, OpenGL ES 버전과 내수용과 수출용에 따라서도 달라지는 AP, 메모리도 호환성 테스트에서 항시 함께 측정되고 관리되어야하는 부분이라는 것을 잊어서는 안된다.



◎ 호환성 테스트를 위해 '운영체제(OS)'에서 고려해야하는 부분

구글 개발자 사이트를 통해 공개된 안드로이드 사용자들의 OS 사용 분포도를 보면, 작년에 출시된 8.0 오레오 OS 점유율이 아직 12%에 그치는 것을 확인할 수 있다. 신형 안드로이드 OS가 사용자에게 전달되는 과정을 통해 발생한 '파편화'가 그 원인이다.

구글이 레퍼런스 OS를 만들면 제조사가 AP를 개발하고, 이렇게 만들어진 칩을 포함해서 기기 제조사들이 저마다 기기를 만든다. 국내의 경우 여기서 통신사들이 한 번 더 개입한다. 이후 사용자에게 전달되는 것이다. 구글이 새로운 OS 업데이트를 진행하면 이 모든 과정이 전부 다시 진행되므로, 사용자는 처음 구매했을 당시의 OS를 쭉 유지하거나, 한두 번 업데이트하는 것에 그치는 경우가 많다.

애플은 안드로이드에 비해 굉장히 단순한 형태로 진행된다. 애플이 앞으로 아이폰에 포함되는 GPU를 독자적으로 개발하게 되면 안드로이드와의 경계는 더 극명하게 나뉠 것으로 보인다.

▲ 안드로이드에 호환성 이슈가 자주 발생하는 이유는 심한 OS 파편화 때문이다



■ '리니지M'의 호환성 테스트는 어떻게?


이호승 개발자가 말하는 '리니지M'의 성능 측정에서 가장 중요한 포인트는 'FPS' 체크다. 메모리 사용량과 발열 체크가 그 뒤를 잇고, 이외에도 네트워크 사용량 측정이 필요하다.

프레임 체크는 보통 30분가량의 테스트 이후에도 일정한 FPS가 유지될 수 있도록 확인하는 방식으로 진행된다. 테스트 과정을 통해 산출된 결과는 프레임 상향을 위해 최적화 담당자에게 전달되고, 이들과 협업하는 작업이 이어진다. 이외에도 콘텐츠 업데이트에 따라 메모리에 어떤 변화가 발생하는지 파악하고, 실측 데이터를 기반으로 기기의 발열 수치를 낮추는 작업도 반복됐다.

게임 출시 전에는 빌드가 나오면 2주가량 호환성 테스트를 진행하는 방식으로 일정 기간의 텀을 활용할 수 있으나, 곧 그렇게 할 수 없는 상황이 닥쳐온다. 라이브 서비스 이후에는 빠른 주기로 업데이트가 계속 추가되기 때문이다.

여기에 격주로 클라이언트 업데이트까지 함께 진행되면 테스트가 업데이트 속도를 도저히 따라잡을 수 없는 상황이 발생하는데, 이때를 위해 새롭게 적용하게 된 것이 바로 호환성 테스트의 '자동화'다.


엔씨소프트에서는 모바일 랩실에 보유한 기기를 활용해 자동화 서버를 마련하고, 게임의 권장사양과 최저사양, 그리고 최소 지원 OS가 설치된 기기로 호환성 테스트를 진행 중이다. 게임 테스트에서는 로그인과 캐릭터 생성은 물론 상점 구매 튜토리얼, 아이템 장착, 변신 튜토리얼, 자동 전투 사냥, 기타 다양한 것들이 모두 자동으로 진행된다. 여기에 활용된 기술은 모두 애피움 프레임워크가 적용되어 있는데, 일반적인 애피움으로는 게임에 나오는 오브젝트를 딸 수 없기 때문에 추가적인 개발 과정이 필요하다.

테스트 이후 결과 화면에서는 기기별로 나뉘어진 스크린샷을 볼 수 있기 때문에 특별한 모니터링 없이도 테스트 결과를 모두 체크할 수 있고, 체크 리스트도 자동으로 작성된다. '리니지M'의 호환성 테스트 자동화에 사용된 스크립트는 이호승 개발자가 직접 오브젝트 방식으로 짜서 마련한 것인데, 이와 관련하여 기술적으로 더 자세한 내용은 지난 IGC 2016에서 진행된 엔씨소프트 김종원 팀장의 강연을 통해 먼저 소개된 바 있다.

관련기사 : [IGC2016] "아직 먼 자동화 테스트, 그러나 진보 중입니다", NC 김종원 팀장

▲ 테스트 자동화를 위해 이호승 개발자는 직접 코드를 짜서 사용했다

'리니지M'의 테스트 자동화 과정에서는 하드웨어 버튼에 대한 테스트도 함께 진행되고 있다. 게임이 기동되고 있는 상황에서 모바일 기기의 뒤로가기, 홈버튼, 메뉴버튼, 소리조절 버튼이 눌렸을 때 크래시가 발생하지는 않는지 확인하는 절차다. 엔씨소프트는 이러한 절차를 모두 거친 후에 '리니지M'의 라이브 서비스를 시작했다.



■ 테스트 자동화를 통해 얻은것은? '미션 원 아워'


이호승 개발자는 테스트 자동화를 통해 단 한 시간 만에 빌드 테스트를 마치는 것이 가능해졌다고 설명했다. 현재 라이브되고 있는 '리니지M'의 테스트를 위해서 총 12대의 기기가 마련되어 있는데, 사람은 단 한 명만 있어도 테스트가 가능하다. 12대의 모바일 기기와 자동화 프레임이 있고, 테스트를 시작을 알리고 한 시간이면 모든 테스트가 완료되는 식이다.

수치상으로 테스트 시간이 크게 줄었다고 할 수는 없지만, 사람이 직접 테스트하는 것보다는 훨씬 더 많은 시간이 절약된다. 한 사람이 하나의 기기로 한 시간 동안 테스트를 한다고 하면 12대의 기기를 테스트하기 위해서는 총 12시간이 필요한데, 자동화 프레임을 활용하면 단 한 시간이면 충분하다. 단순 계산으로 1년을 테스트한다고 했을 때, 약 700시간 이상이 절약되는 셈이다.

그는 현재 단 12대의 모바일 기기만 테스트에 활용하고 있지만, 조만간 30대로 규모를 키우고, 리니지M 이외에도 엔씨소프트가 준비하고 있는 '리니지2M', '블레이드앤소울2' 등 다양한 신작 게임에 테스트 자동화를 도입해나갈 계획이라고 밝혔다.

▲ 호환성 이슈를 해결할 수 있는 더 촘촘한 그물이 마련된 상태

끝으로 그는 소규모 개발사와 작은 개발 그룹에서 호환성 테스트를 진행할 때 활용할 수 있는 다섯 가지 팁을 소개했다. 각각 '권장사양, 최소사양 기기에서 테스트하기', 'OS별 테스트하기', 'API 레벨별 테스트하기', 'AP별 테스트하기', 그리고 '테스트 자동화 적용하기'다.

작은 개발사일수록 테스트 자동화를 활용하면 대형 회사만큼 테스트 영역을 넓힐 수 있을 것이라며, 테스트 자동화를 적용하는 것이 가장 좋은 선택이 될 것이라고 조언했다.

코멘트

새로고침
새로고침

전체 리포터 60개 등록됨 (2019-04-18 ~ 2018-10-17)

[패치] 월드 던전 잊혀진 섬 추가! 전체 서버 이전 조만간 진행 예정 [14]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-04-18 16:32
원작 PC 리니지에서도 다른 서버와의 대결 구도가 펼쳐졌던 '잊혀진 섬'이 리니지M에 등장했다. PC와 마찬가지로 다른 서버 유저들과 전투를 펼칠 수 있는 '월드 던전' 형태로 등장하며, 매주 수, 목, 금.....
'리니지M', 일본 사전 예약자 수 70만 명 돌파 [33]
게임뉴스 | 허재민 기자 (Litte@inven.co.kr) | 2019-04-18 16:28
엔씨소프트의 '리니지M'이 일본 출시를 앞두고 사전예약자 수 70만 명을 돌파했다. 엔씨 재팬에서 서비스 예정인 '리니지M' 일본 버전은 2017년 대만에 이어 두 번째 해외 서비스다. 출시를 앞두고 '리니.....
리니지M, 새로운 월드 던전 ‘잊혀진 섬’ 업데이트 [2]
게임뉴스 | 인벤팀 기자 (desk@inven.co.kr) | 2019-04-18 11:51
엔씨소프트(대표 김택진, 이하 엔씨(NC))의 모바일 MMORPG(다중접속역할수행게임) 리니지M이 오늘(18일) 새로운 월드 던전 ‘잊혀진 섬’을 업데이트했다. ‘잊혀진 섬’은 같은 월드에 속한 10개 서버...
[후기] 드래곤의 용옥 사용 한 달, 다시 레벨이 오르기 시작했다 [79]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-04-17 11:53
지난 3월 6일 리니지M에 정액제 아이템 '드래곤의 용옥'이 추가됐다. 드래곤의 용옥은 아인하사드의 축복이 없어도 경험치 400%, 아데나 획득률 150%의 효과를 30일 동안 지속하게 해준다. 드래곤의 용옥.....
[패치] 월드 보스 잡고 귀환 NO! 황금 슬라임 잡고 숨겨진 왕국 탐험 [14]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-04-10 16:59
10일 업데이트를 통해 황금 슬라임 이벤트가 시작된다. 월드 보스를 처치 직후에 등장하는 '황금 슬라임'을 제거하면 이벤트 던전인 숨겨진 왕국으로 이동할 수 있는 포탈이 개방된다. 숨겨진 왕국으로 .....
[이슈] 오만의 탑, 축복 주문서, 아데나... 유저들이 체감하는 드랍률 하락 [126]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-04-09 18:42
많은 게임들이 밸런스 명목으로 드롭률이나 획득 수치 등이 조정되곤 한다. 이러한 변경은 실제 확률까지 표기하진 않더라도 패치 노트를 통해 증감 여부를 공개하는 것이 일반적이나, 사전에 알리지 않.....
[취재] 리니지M iOS 버전 점검 하루 넘게 지속… '마켓 이슈로 최종 배포 지연' [36]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-04-04 11:34
iOS 버전 엔씨소프트가 서비스하는 리니지M iOS 버전이 지난 3일 오전 4시 업데이트 점검을 실시한 이후, 금일(4일) 10시가 넘어간 현재까지 서비스가 지연되고 있다. 안드로이드 버전이 지난 3일 오전 .....
[정보] 최후의 1인되면 영웅 변신 카드! 배틀로얄 던전 '무너지는 섬' [34]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-04-03 20:19
세계적으로 배틀로얄 방식의 게임이 유행하면서 리니지m에서도 흐름에 편승한 새로운 던전 '무너지는 섬'이 한시적으로 추가됐다. '무너지는 섬'은 총 3라운드로 진행되는 배틀로얄 방식으로 마지막 3라.....
리니지M, 세 번째 월드 던전 '무너지는 섬' 공개 [4]
게임뉴스 | 인벤팀 기자 (desk@inven.co.kr) | 2019-04-03 16:03
엔씨소프트(대표 김택진, 이하 엔씨(NC))의 모바일 MMORPG(다중접속역할수행게임) 리니지M이 오늘(3일) 세 번째 월드 던전 ‘무너지는 섬’을 공개했다. ‘무너지는 섬’은 원작 PC 리니지에 존재하지 않.....
리니지M, 누적 매출 약 2조 원… 2월에는 1인당 16만원 넘게 소비 [135]
게임뉴스 | 인벤팀 기자 (desk@inven.co.kr) | 2019-04-03 15:22
금일(3일), 모바일 시장 전문 조사 업체 '모바일 인덱스'는 자사의 홈페이지를 통해 '리니지M 이용자 집중 분석' 리포트를 발표했다. 조사 결과에 따르면, 리니지M의 누적 매출은 약 2조원에 달하는 것으.....
엔씨, NC 다이노스와 ‘창원NC파크’ 오픈 기념 이벤트 진행 [14]
게임뉴스 | 인벤팀 기자 (desk@inven.co.kr) | 2019-03-28 14:39
㈜엔씨소프트(대표 김택진, 이하 엔씨(NC)가 NC 다이노스와 ‘창원NC파크’ 개장을 기념해 ‘단디, 캐치하라!’ 이벤트를 4월 14일까지 실시한다. ‘단디, 캐치하라!’ 이벤트는 엔씨(NC)의 PC온라인 게.....
[패치] 엘리멘탈 파이어 8만 명예 코인으로 구입 가능! 몬스터 소환 이벤트 진행 [7]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-03-27 15:04
오랫동안 변화가 없었던 불요정을 위한 신규 스킬 '엘리멘탈 파이어'가 27일 패치로 추가됐다. 엘리멘탈 파이어는 근거리 공격 시, 일정 확률로 1.5배 대미지를 주는 스킬로 혈맹 상점에서 8만 명예 코인.....
[패치] 투사 클래스 케어 진행! 특정 조건을 달성할 경우, 칭호 획득 가능해져 [17]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-03-20 16:36
투사 유저들의 이탈이 심상치 않았던 것일까? 이번 업데이트를 통해 투사 클래스 케어가 진행됐다. 케어의 핵심은 썬더 그랩(임팩트 포함)의 상향과 다크 슬래시의 버프화, 일부 스킬의 패시브화다. 투사.....
[패치] 클래스 케어 진행됐지만… 암흑기사로 넘어가려는 유저들 많아질 듯 [46]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-03-13 16:11
클래스 케어가 진행되면서 각 클래스 별로 스킬이 변경되거나 신규 스킬이 추가되는 업데이트가 진행됐다. 총사, 암흑기사를 제외한 나머지 클래스 모두 신규 스킬이 추가되었으며, 총사는 스킬 효과 변.....
[뉴스] 최초의 신화 무기 진명황의 집행검 등장, 그 주인공은 데포2섭 'K탱크(킹아더)' [58]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-03-12 11:01
엔씨소프트의 MMORPG 모바일 게임 '리니지M'에 전 서버 최초로 신화 무기가 등장했다. 데포로쥬02 서버의 'K탱크'가 그 주인공. 그는 12일 새벽 2시 1...
[패치] 정액제 가격은 55,000원! 세 번째 에피소드 '이클립스' 주요 사항 [12]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-03-06 18:46
금일 리니지M 세 번째 에피소드 'ECLIPSE'가 업데이트됐다. 대형 업데이트인 만큼 많은 부분이 바뀌고 추가됐다. 우선 예고했던 신규 클래스 암흑기사 및 케레니스 서버가 추가됐다. 암흑기사는 한손검과.....
[정보] 다크 스턴 스킬은 어디서? 신규 사냥터에서 암흑기사 스킬북 드롭 [11]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-03-06 18:19
리니지M의 세 번째 에피소드 'ECLIPSE'의 업데이트와 함께 신규 클래스 암흑기사가 등장했다. 암흑기사는 높은 체력과 방어력을 바탕으로 PvP에 특화된 다양한 스킬을 구사한다. 많은 유저들의 관심사였.....
아인하사드 축복 시스템 개편, 리니지M '이클립스' 업데이트
게임뉴스 | 인벤팀 기자 (desk@inven.co.kr) | 2019-03-06 12:33
엔씨소프트(대표 김택진, 이하 엔씨(NC))의 모바일 MMORPG(다중접속역할수행게임) 리니지M이 6일 세 번째 에피소드 ‘이클립스(ECLIPSE)’를 업데이트한다. 이용자는 오늘(6일)부터 리니지M의 8번째 클래.....
[정보] 다크 스턴은 일반 스킬? 암흑기사 신규 스킬&변신 공개 [11]
게임뉴스 | 이동연 기자 (Rakii@inven.co.kr) | 2019-03-05 22:40
신규 클래스 암흑기사의 자세한 스킬 및 변신이 공개됐다. 스킬은 총 9개가 공개됐으며, 이 중 5개는 지난 번 공개된 스킬이 포함되어 있다. 변신은 총 4종으로 일반, 희귀, 영웅, 전설 등급이 공개됐다.....
다음 6개월   이전 1 | 2 | 3 | 4 다음   이전 6개월
명칭: 주식회사 인벤 | 등록번호: 경기 아51514 | 등록연월일: 2009. 12. 14 | 제호: 인벤(INVEN)
발행인: 서형준 | 편집인: 강민우 | 발행소: 경기 성남시 분당구 성남대로 331번길 8, 17층
발행연월일: 2004 11. 11 | 전화번호: 02 - 6393 - 7700 | E-mail: help@inven.co.kr

인벤의 콘텐츠 및 기사는 저작권법의 보호를 받으므로, 무단 전재, 복사, 배포 등을 금합니다.
Copyrightⓒ Inven. All rights reserved.