* 외부 필진의 기고 내용은 본지의 편집방향과 일치하지 않을 수 있습니다.
알파고 이후로 잠잠했던 인공지능에 관한 관심이 뜨겁게 불타오르고 있다. 올해 중순부터 혜성처럼 등장한 인공지능아트 서비스가 바로 그것이다.
인공지능아트의 등장 초기에는 일러스트 분야에서만 영향을 미칠 것으로 생각되었지만, 빠른 속도로 다양한 기술과 조합되면서 일러스트는 물론 텍스처 이미지, UI, 모델링, 애니메이션 영역까지 넘보고 있다. 인간보다 월등한 속도로, 인간과 대등한 수준의 그림을 척척 생성해내는 인공지능아트는, 그 결과물의 놀라운 수준으로 인해 산업에 미칠 영향 및 사회적 파장에 대한 관심이 하루가 다르게 커지는 중이다.
이제는 누구나 한 번쯤은 들어봤을 인공지능아트의 발전 방향을 가늠하기 위해, 지난 2년간의 인공지능아트 산업과 기술을 정리해보았다.
인공지능아트의 태동
구글의 딥마인드가 개발한 인공지능 알파고와 이세돌 9단의 대국이 있은 지도 벌써 6년이 지났다. 그동안 인공지능에 관련된 연구와 기술은 가파르게 성장했지만, 대중에게는 알파고만큼의 깊은 인상을 심어주지는 못했다. 그런데 2021년 1월 오픈AI라는 인공지능 스타트업이 인공지능아트 서비스 달리(DALL-E)를 발표한다. 지금까지 인공지능 기술은 자율주행, 음성인식, 이미지 식별 등과 같이 인간이 할 수 있는 작업을 보조하는 역할에만 초점이 맞춰져 있었다. 하지만 달리는 인간이 입력한 자연어를 처리하여 스스로 새로운 이미지를 생성하는 것이 가능했다.
아보카도와 의자라는 키워드를 던졌더니 그림과 같이 아보카도처럼 생긴 의자를 다양하게 만들어낸다. 자연어를 이해하고 세상에 없었던 이미지를 창조하는, 어찌 보면 인간과 대등한 결과물이 나온 것이다.
이러한 마법과도 같은 인공지능아트 기술의 밑바탕에는 오픈AI의 자연어처리 기술이 있다. 오픈AI는 전년도 2020년 5월에 GPT-3라는 자연어처리 기술을 발표했다. GPT-3는 인간이 만든 문장과 구별하기 어려운 자연스러운 문장을 만들어내고, 더 나아가 문제풀이, 글짓기, 코딩과 같은 생산적인 활동을 벌이면서 인공지능 산업의 주목을 받았는데, 이 기술을 이미지 생성 영역으로 확대한 것이 달리인 것이다.
그다음 해 오픈AI는 달리를 발표하면서 이미지 인식 기술도 함께 발표했는데, 해당 기술은 CLIP(Contrastive Image-Language Pretraining)으로 부른다.
이전까지 인공지능에서 이미지 인식은 사전에 분류된 이미지를 학습하는 방식이었다. 이 방식은 유사한 이미지는 잘 맞췄는데, 한 번도 본 적이 없는 이미지에 대한 인식력이 좋진 않았다. 그런데 CLIP 기술로 훈련했더니 한 번도 본 적이 없는 이미지를 인식할 수 있는 능력이 생기게 되었다. 예를 들어 개와 고양이 그림만으로 훈련했는데, 한 번도 본 적 없는 너구리 사진을 맞추는 능력이 발현된 것이다. 게다가 풍부한 문장력은 덤이다.
정리하면 인공지능아트 기술은 두 파트로 요약할 수 있다. 이미지에서 텍스트를 추출하는 CLIP과 프롬프트(Prompts)라 불리는 텍스트로부터 이미지를 생성하는 달리다. 이미지에서 텍스트를 추출하는 기술은 짧게 img2txt(image-to-text)로 부른다. CLIP이 img2txt라면 달리는 이를 뒤집은 txt2img(text-to-image)다. CLIP으로 훈련된 데이터를 인공지능에 쥐여주니 사람이 전달한 텍스트를 해석해 이미지를 창작하기 시작했다.
오픈AI가 선보인 인공지능아트기술은 이미지 생성 분야에서 새로운 전기를 마련했지만 아트 결과물은 일반인이 보기에 아직 어설픈 수준이기에 이를 보완하기 위한 새로운 txt2img기술에 대한 연구가 진행되었다. 이때 연구자들이 주목한 기술이 있었는데, 디퓨젼(Diffusion)이다.
디퓨젼은 인공지능에 한 번에 그림을 그리지 말고, 스텝(Step)이라 불리는 여러 단계로 나누어서 차근차근 그리도록 지도하는 기술이다. 인공지능은 스텝마다 노이즈라 불리는 알록달록한 모래를 뿌려 그림을 완성해나간다. 아래 그림에서 오른쪽에서 왼쪽 순서로 한 단계씩 모래를 꾸준히 뿌리면 고화질의 이미지가 완성된다. 비유하자면 돌다리를 하나씩 두들기면서 신중하게 진행하기에 정확도가 높은 이미지가 만들어지는 것이다.
이미지를 만들어내는 디퓨젼 기술(▶ Nvidia 기술 블로그)
디퓨젼 기술을 통해 txt2img기술을 향상시킬 수 있음이 확인되자, 많은 연구자가 CLIP과 디퓨젼을 결합한 새로운 인공지능아트 모델을 만드는 데 집중했다. 오픈AI 또한 2021년 11월에 GLIDE라는 자체 디퓨젼 기술을 발표하고, 그다음 해인 2022년 4월, 이를 적용한 업그레이드된 달리2를 공개한다.
달리2는 사물을 묘사하는 능력이 탁월해, 정물과 같은 단일 물체를 그리는데 우수한 능력을 보여준다. 예를 들어 다음과 같이 게임 아이콘 이미지를 그리는데 있어 다른 인공지능아트보다 뛰어난 결과물을 만들어낸다.
연구실에서 탄생한 프랑켄슈타인
인공지능아트를 개척한 오픈AI는 GPT-3부터 달리에 이르기까지 자신들의 놀라운 기술을 선보이며 인공지능산업의 총아로 떠올랐지만 이들을 못미덥게 보는 시선들이 있었다. 이를 이해하려면 오픈AI의 탄생 배경을 이해해야 한다.
오픈AI는 2015년에 온 인류에 도움되는 디지털 지성의 발전이라는 목표를 가진 비영리단체로 출발했다. 이들의 구호와 오픈AI라는 이름을 통해 사람들은 자연스레 앞으로 누구나 오픈AI의 기술을 제한없이 사용할 수 있을 것이라는 기대를 품게 되었다. 그런데 이러한 기대가 무색하게 2019년 초 오픈AI는 영리법인으로의 전환을 전격적으로 발표한 뒤, 같은해 2019년 11월 빅테크기업 마이크로소프트로부터 10억 달러의 거대 투자를 유치받는다.
그다음 해 오픈AI는 GPT-3를 발표하며 인공지능산업에서 화려한 스포트라이트를 받았지만, 곧 이어 자신들에게 투자한 마이크로소프트에 기술을 이전하는 라이선싱 계약을 체결한다. 이러한 이름과 정반대의 행보는 오픈AI 기술의 투명한 공개를 바라던 많은 사람들에게 실망을 안겨주었다. 오픈AI의 초기 투자자이자 이전부터 오픈AI가 더욱 개방되어야 한다고 주장하던 테슬라 대표 일론 머스크(Elon Musk)는 오픈AI가 오픈과 정반대의 행보를 보이고 있으며 마이크로소프트에 장악됐다고 비판하기도 했다.
한편 오픈AI가 저버린 모두를 위한 인공지능기술을 꿈꾸는 새로운 연구자 그룹이 등장했는데, 2020년 7월부터 활동을 시작한 일루더AI(EleutherAI)다. 일루더AI는 오픈AI의 GTP-3 기술을 대체하는 프로젝트 GTP-Neo를 발표하고, 지속적으로 이를 개량한 GTP-J, GTP-NeoX 모델을 계속 개발해나간다.
일루더AI의 독특한 점은 디스코드를 중심으로 형성된 개방 커뮤니티라는 것이다. 지금도 일루더AI의 디스코드에는 누구나 들어갈 수 있고, 커뮤니티에서 자유롭게 소통할 수 있다. 일루더AI 디스코드에서는 GPT기술 뿐만 아니라 인공지능아트에 대한 실험도 진행되었는데, 커뮤니티 내 채널 #the-paraday-cage에서 다양한 인공지능아트에 대한 실험이 진행되었고, 이러한 시도는 인공지능아트기술을 대중화시키는 초석이 된다.
일반인이 인공지능아트를 사용하기 위해서는 인공지능에 대한 기술 지식, 인공지능 프로그래밍 그리고 프로그램을 구동할 수 있는 GPU 컴퓨팅이라는 여러 진입장벽이 존재했다. 그런데 인공지능기술에 관심이 많은 아티스트들은 이를 극복하고 다양한 창작실험을 했는데. 그 배경에는 구글에서 제공하는 클라우드 컴퓨팅 서비스인 코랩(Colab)이 있었다.
협업과 연구실의 합성어 Colaboratory의 줄임말인 코랩은 소정의 요금을 지불하면 높은 수준의 GPU를 사용할 수 있는 컴퓨팅 서비스를 제공한다. 코랩이 가진 또 하나의 장점은 다른 사람이 제작한 코드를 복제해 실행할 수 있다는 점이다. 그렇기에 코랩환경만 익숙하다면 인공지능에 대한 전문 지식과 프로그래밍 스킬이 없어도 다른 사람이 만든 인공지능아트 프로그램을 돌려 원하는 이미지를 얻는 것이 가능하다.
2021년도 인공지능아트에서 가장 화두가 되었던 CLIP과 디퓨젼 기술을 조합하는 실험은 연구실 코랩에서 진행되었다. 코랩 환경에서 CLIP과 디퓨젼을 조합한 프로그램을 제작해 공개한 사람은 일루더AI의 일원인 캐서린 크로손(Catherine Crowson)이다. 캐서린이 제작한 초기 프로그램은 누구나 복제 가능했기에 커뮤니티로 퍼져 다양한 방법으로 개량되었다. 이 중에서 가장 주목받은 개량판은 솜나이(Somnai)라는 미상의 커뮤니티 유저가 제작한 애니메이션 기능이 가미된 디스코디퓨젼(Disco Diffusion)이다.
솜나이는 2021년 10월 디스코디퓨젼 버전 1을 공개하고 이를 다음과 같은 한 줄의 문장으로 소개한다.
"인공지능 아트, 애니메이션 생성을 위한 노트북, 모델 그리고 기술의 프랑켄슈타인 아말감융합"
"A frankensteinian amalgamation of notebooks, models and techniques for the generation of AI Art and Animations"
21세기의 디지털 연구실 코랩에서 여러 오픈소스를 조합해 구동시킨 디스코디퓨젼의 첫 버젼은 여기저기에서 부속을 얼기설기 조합해 인간을 창조한 프랑켄슈타인 박사의 실험을 연상시키므로 적절한 비유라고 할 수 있다.
솜나이는 디스코디퓨젼으로 제작한 다양한 이미지를 트위터에 공유하면서 인공지능에 관심있는 아티스트의 주목을 끌었다.
디스코디퓨전은 연구자와 기술자들의 전유물에 속해있던 인공지능아트를 대중화시킨 촉매재 역할을 했다. 이 때부터 진보적인 아티스트들은 인공지능기술의 발전을 지켜보는 수동적인 역할이 아닌 능동적인 주체로서 자신의 작품 활동에 인공지능아트기술을 접목하기 시작했다.
디스코디퓨전은 입소문을 타고 점점 더 아티스트들에게 빠르게 전파되고 2022년도 초중반에 이를 활용한 다양한 작품이 화제에 오르게 된다. 아래 뮤직비디오는 언리얼 엔진 공식 블로그에 소개된 디스코디퓨젼을 활용한 영상 작품이다.
인공지능아트기술의 대중화
디스코디퓨젼으로 인공지능아트의 상업적인 흥행이 감지되자 이를 고도화시킨 미드저니라는 스타트업이 2022년 7월 등장했다. 미드저니는 웹을 버리고 디스코드를 중심으로 모든 서비스와 활동이 전개되는 독특한 상용 서비스를 선보였다.
디스코디퓨젼의 코랩 환경은 인공지능에 대한 접근 장벽을 많이 허물었지만, 코랩 특유의 프로그래밍 인터페이스를 일반 대중이 사용하기에는 어려움이 있었는데, 미드저니는 디스코드에서 프롬프트를 입력하면 전용 봇을 통해 이미지 생성 결과를 전달하는 간단하고 편리한 인터페이스를 제공한다.
미드저니는 가입만하면 누구든지 무료로 인공지능아트를 시험할 수 있고, 디스코드의 채널 기능을 활용해 사람들이 입력한 텍스트와 인공지능아트 결과물을 효과적으로 아카이빙해 제공한다. 그렇기에 인공지능아트를 처음 이용하는 사람도 다른 사람의 작업을 참고해 손쉽게 이미지를 생성해볼 수 있다. 이러한 특징으로 미드저니는 인공지능아트의 대중화를 이끌었다.
미드저니 서비스는 구체적인 작동원리가 공개되지 않았지만, 이전 디스코디퓨젼에 비해 한층 높은 수준의 이미지를 생성하면서 관심을 끌었고, 다양한 프롬프트로 만들어진 이미지들이 소셜 커뮤니티에 전파되면서 다양한 이슈를 만들어냈다.
이 중에서 대표적으로 회자된 것은 미국에서 열린 미술전에서 미드저니를 통해 얻은 이미지를 출품한 사람이 1위를 차지한 사건을 들 수 있다. 이 사건은 다양한 매체에서 다루어졌고 이로 인해 인공지능아트에 대한 대중의 관심이 급격히 커지기 시작했다..
(▶ 콜로라도 스테이트 페어 인스타그램)
이 사건은 알파고에 이어 인공지능아트기술이 직접적으로 인간만이 할 수 있었던 경쟁에 참여해 우승했다는 점에서 큰 파장을 일으켰다. 이 때부터 인공지능아트가 생성한 이미지에 대한 취급과 저작권에 대한 논의가 본격적으로 시작되었고 지금도 많은 토론이 이루어지고 있다.
미드저니는 실험실에서 만들어진 프랑켄슈타인을 바깥의 사람들에게 소개하고, 누구나 친해질 수 있도록했다. 2022년 10월 26일 미드저니 디스코드 채널에 가입된 사용자는 360만명을 넘어섰다. 이는 디스코드 서비스 역사상 가장 큰 유저수다.
인공지능아트기술의 생태계
미드저니가 개척한 상업 모델이 성공하자 곧 이어 새로운 스타트업 스태빌리티 AI(Stability AI)가 등장했다. 스태빌리티 AI는 스테이블 디퓨젼(Stable Diffusion)이라는 새로운 모델을 기반으로 이를 체험할 수 있는 드림스튜디오라는 웹 기반의 저작도구를 선보였다.
스테이블 디퓨젼은 앞서 소개한 달리2, 미드저니와는 또 사뭇 다른 느낌의 우수한 결과물을 만들어냈기에 많은 이들의 관심을 끌었다.
아직도 미드저니 서비스 사용자는 빠르게 증가하고 있지만, 인공지능아트 산업의 스포트라이트는 스태빌리티 AI로 옮겨진 상황이다. 스테이블 디퓨전이 미드저니와 달리 주목받는 까닭은 이미지의 퀄리티 외에도 넓은 생태계와 탄탄한 우군이 있다는 것이다.
혜성처럼 등장한 미드저니는 큰 성공을 거두었지만, 그 동력을 함께 이어나갈 수 있는 협력업체가 보이지 않는다. 인공지능산업이 발전하기 위해서는 우수한 연구자 풀과 검증된 이미지 데이터베이스 구축이 필수적인데, 빅테크기업이 아닌 스타트업이 이를 모두 감당하기에는 그 규모가 너무 크다.
이 중에서 가장 필수적인 요소는 거대 학습을 진행할 수 있는 컴퓨팅 파워와 이를 지탱할 수 있는 자금력이다. 오픈AI가 주목받은 GPT-3 기술을 짧게 요약하면 학습량을 거대하게 늘렸더니 인공지능이 인간처럼 말을 하기 시작했다로 설명할 수 있다. 그렇기에 초거대모델을 운영할 수 있는 천문학적인 자금과 인프라가 필요한데, 오픈AI가 일찍이 마이크로소프트와 손을 잡은 이유도 이를 감당할 수 있는 인프라와 자원이 필요했기 때문이다.
올해 8월, 스태빌리티 AI를 창업한 사람은 펀드매니저 출신의 Emad Mostaque다. 그는 스테이블디퓨젼이 멋진 이미지를 만들어내도록 초거대 이미지 데이터베이스를 구축하고 학습하는데 필요한 자금을 지원했다. 스태빌리티 AI에 따르면 스테이블 디퓨젼 데이터를 학습시키는데 60만달러(한화 약 8억 6천)의 비용이 들었다고 한다. 그런데 이렇게 고액을 들여 제작한 학습 데이터를 일반인이게 무료로 공개하고 “AI by the people, for the people(사람에 의한, 사람을 위한 AI)”라는 슬로건을 내걸며 개방을 꿈꾸는 인공지능연구 생태계에 러브콜을 보낸다.
오픈 생태계의 힘을 바탕으로 스태빌리티 AI는 2021년 10월 18일 일억백만달러(한화 약 1450억)의 투자를 유치한다. 2022년 8월에 신설된 스태빌리티 AI의 기업 가치는 무려 1조 4천억에 달한다.
인공지능아트기술의 확산과 논란
스테이블 디퓨젼이 기술을 공개하자 이를 기반으로 다양한 서비스들이 등장했다. 일본풍의 일러스트 이미지를 생성하는 노블AI도 그 중 하나이다.
사실 노블AI는 미국의 인공지능스타트업 Anlatan이 2021년도에 런칭한 서비스였는데, 이 때만 해도 노블AI는 인공지능아트와 무관한 인공지능기술로 소설을 만들어주는 서비스였다. 하지만 2022년 10월, 노블AI는 공개된 스테이블 디퓨젼 기술을 활용해 인공지능아트를 생성하는 서비스를 발표한다.
노블AI는 기존 스테이블 디퓨전 서비스에서 불가능했던 고화질의 일본풍 애니메이션 일러스트 이미지를 생성할 수 있어 많은 이들의 주목을 받았는데, 노블AI의 기술진은 블로그에서 스테이블디퓨젼 기술을 사용하지만, 이미지 데이터베이스를 애니메이션 일러스트에 특화시키고 학습 방법을 하이퍼네트웍(Hypernetwork)이라 불리는 자신만의 노하우를 적용해 특화시켰다고 밝혔다.
노블AI는 서비스를 시작하지 얼마 되지 않아 사용자가 몰려 접속이 어려울 정도로 관심을 끌고 있는데, 관심 만큼이나 논란 및 사건 사고가 많은 서비스다. 노블AI에 관련된 가장 큰 논란은 이들이 학습을 위해 참고하는 이미지가 창작자의 허가를 받지 않은 채 업로드 된 단부루(Danbooru)라는 커뮤니티의 데이터라는 점이다. 현행 저작권법이 갑자기 등장한 인공지능아트에 허를 찔렸다고 할 수 있는데, 향후에 이 부분은 어떻게 결론이 날지 계속 지켜볼 필요가 있다.
현재 스테이블 디퓨젼 생태계에서 가장 인기있는 공개 프로그램은 오토매틱(Automatic)이라는 유저의 스테이블 디퓨져 web UI 저장소다. 이는 디스코디퓨전에 이어 등장한 신형 프랑켄슈타인으로 비유할 수 있다.
미상의 유저 오토매틱은 그 동안 클라우드 컴퓨팅에서 동작하는 인공지능아트 서비스를 집 컴퓨터에서 돌릴 수 있도록 프로그램을 다듬어 정리한 후, 이를 간편하게 제어할 수 있도록 웹 기반의 프로그램을 만들어 일반인에게 무료로 공개했다. 이 프로그램을 사용하면 클라우드 비용 없이 GPU를 가진 내 PC에서 인공지능아트을 생성할 수 있어 인공지능아트 커뮤니티에서 큰 인기를 얻고 있다.
정리
바둑이나 체스와 같은 게임은 인간만이 가능한 지적 놀이의 정점으로 여겨지던 때가 있었지만 알파고의 등장은 이러한 인식을 송두리채 바꿔놨다. 이창호 9단은 얼마전의 인터뷰에서 인공지능을 열심히 공부하겠다고 밝히기도 했다.
인공지능아트는 현재 저작권, 도용, 해킹, 악용과 같은 논란과 사건 사고가 있지만 이는 사회적 합의없이 급성장했기 때문에 발생한 문제로 보여진다. 충분한 시간이 지나면, 인공지능아트가 게임 및 다양한 산업에 영향을 미칠 것은 필연적으로 보여진다.
이전의 인공지능기술은 우수 연구자와 기술자들이 뭉쳐있는 빅테크기업의 전유물이었다. 하지만 인공지능아트는 다르다. 이 판은 디스코드와 깃허브라는 커뮤니티 공간에서 누구나 새로운 모델을 테스트하고 발전시킬 수 있는 개방형 생태계다. 이 생태계는 연구자와 기술자뿐만 아니라, 공유와 협업을 통해 적극적으로 활용하고 피드백해주는 커뮤니티 유저도 중요하다.
아래 이미지는 깃허브를 대표하는 인기 저장소의 지표인 스타 개수를 정리한 그래프다. 현재 스테이블디퓨젼의 스타 개수는 31.9k이고 앞서 소개한 오토매틱의 web UI 저장소 또한 현재 스타 개수가 17k에 이를 정도로 인기를 얻고 있다.
이제 인공지능아트는 오픈된 커뮤니티 공간에서 누구나 접합해 만들어내는 프랑켄슈타인 융합체로 비유할 수 있다. 이 순간에도 매일 다양한 기술이 연구실에서 실험되고 있으며 이를 융합한 제 3의, 4의 프랑켄슈타인은 계속해서 만들어질 것이다.
지금까지 인공지능아트에 관련된 변천 과정과 현황을 정리했는데, 이는 불과 3개월 사이에 벌어진 일이다. 단기간에 미드저니와 스태빌리티 AI의 영향력이 커지자 빅테크기업들 또한 분주해지기 시작했다. 메타는 최근 txt2video 기술인 Make-A-Video와 실시간 통역 기술을 발표하고 구글 역시 txt2video기술 페나키(Phenaki)를 발표했다. GPT-3로 대표되는 초거대언어모델의 차세대 기술 또한 빅테크기업과 오픈AI, 스태빌리티 AI등이 각축을 벌이고 있다.
인공지능아트 산업 변화를 파악하기 위한 손쉬운 팁을 알려주자면, 앞서 언급한 주요 인물의 트위터를 구독하는 것이다. 아래 계정들을 팔로우해보시라. 흥미진진한 인공지능산업의 변화를 실시간으로 관전하는 재미를 얻을 것이다.
오픈AI(OpenAI)
@sama(Sam Altman)
일루더AI(EleutherAI)
@nabla_theta(Leo Gao)
@RiversHaveWings(Catherin Crows)
디스코 디퓨젼(Disco Diffusion)
@Somnai_dreams(Somnai)
미드 저니(Midjourney)
@DavidSHolz(David Holz)
스태빌리티 AI(Stability AI)
@StabilityAI
@EMostaque(Emad)
노블AI(Novel AI)
@novelaiofficial
Biit@inven.co.kr