아직도 AI에게 모든걸 맡기기엔 이르다.

2026년 10월 12일 by CRYUN in AI & Agents, AI Coding
GPT-6 ASTRA

GPT 사용량 리셋권이 어느새 3장까지 쌓였다. 사용량도 털어낼 겸, 아이를 위해 만들던 게임을 다듬어 보기로 했다. 만 5세 여자아이가 할 수 있는 스타듀 밸리 + 동물의 숲 컨셉의 게임이다.

시작은 진작 해두었는데 다른 작업에 토큰을 쓰느라 한동안 손을 놓고 있었다. 요즘은 주간 사용량이 빠듯해서 후 우선순위로 미뤄뒀던 프로젝트였는데, 리셋권이 누적되었으니 주요 프로젝트와 병행해서 개발을 더 해볼 수 있었다. 이번에 리소스를 좀 투입하면서 주로 비주얼 폴리싱과, 만 5세 아이 수준에 맞는 직관적인 게임 설명에 집중했다.

주어진 컨셉은 명확했다


처음 프로젝트를 시작할 때 에이전트에게 준 요구사항은 다음과 같다.

  • 만 5세 여자아이가 할 수 있는 스타듀 밸리 같은 농장 관리 + 동물의 숲 같은 꾸미기 게임
  • 아직 문장을 완전하게 읽기 어려우므로, 직관적인 조작법과 심볼이나 이미지를 이용한 쉬운 튜토리얼 제공
  • 웹 게임으로 개발하되, 에셋은 SVG를 사용하지 말고 이미지로 생성해서 사용

만 5세면 글자를 조금씩 읽기는 해도 문장으로 된 설명을 읽고 이해하기는 아직 어렵다. 그래서 글보다는 심볼이나 이미지만 보고도 뭘 해야 하는지 알 수 있는 튜토리얼이 필요했다. 원샷 프롬프팅으로 이 정도면 충분히 명확하다고 생각했다.

첫 번째 결과


겉보기에는 그럴듯하지만 터치만 가능한 화면

그림은 그럴듯한데, 할 수 있는 건 터치뿐

큰 기대를 하지는 않았는데, 딱 생각한 수준으로 나왔다. 이미지는 그럴듯하지만 그냥 단순하게 터치만 하면 되는 게임이다. 게임 수준이 너무 간단하다. 씨앗을 골라 심고, 다 자란 작물을 눌러 수확하는 게 사실상 전부다. 화면 아래 안내도 “다 자란 작물을 톡 눌러 수확해 봐!” 같은 문장으로 되어 있다.

만 5세라고 하니 최대한 단순하게 만든 것 같은데, 실제로는 그렇지 않다. 만 5세 여자아이도 생각보다 복잡한 요소의 게임을 잘 한다. 오히려 간단한 게임은 금방 질려 한다. 조작이 쉬워야 하는 거지, 게임 내용까지 단순할 필요는 없다.

그래서 요구사항을 다시 줬다. 스타듀 밸리 정도로 고도화되어 있지만, 만 5세 아이가 쉽게 배우고 익숙해질 수 있는 게임. 여기에 풍부한 상호작용 요소와 쿼터뷰 시점을 요구했다.

컨셉 이미지는 그럴싸하다


아이들이 좋아할 만한 그림

아이가 보면 좋아할 만한 그림이긴 하다

닭장과 밭, 물뿌리개로 물을 주는 아이, 강을 건너는 다리와 낚싯배가 묶인 선착장, 그리고 상인들이 있는 마을 시장까지. 쿼터뷰 시점에 이것저것 할 거리가 많아 보이는 구성이다.

GPT 이미지 생성 모델 냄새가 많이 나긴 하지만, 아이 시점에서는 좋아할 만한 게임 이미지다. 이런 예시 이미지를 먼저 생성해 오는 걸 보면 내 요구를 정확히 이해한 것처럼 보였다.

생성된 게임


컨셉 이미지보다 부족하지만 그럴싸해 보이는 스크린샷

컨셉 이미지에는 못 미치지만, 스크린샷만 보면 그럴싸하다

당연히 컨셉 이미지보다는 모자란 점이 많지만, 그럴싸해 보이는 게임이 나왔다. 시점은 쿼터뷰로 바뀌었고, 집과 닭장, 밭에 밭 만들기나 물주기 같은 도구 메뉴도 생겼다. 다만 컨셉 이미지에 있던 마을이나 시장, 선착장 같은 요소는 이 화면에서 보이지 않고, 화면 대부분이 빈 잔디밭이다. 그리고 실제로 플레이해 보면 아직 갈 길이 멀다.

조작 요소와 연출은 여전히 클리커 수준에 머물러 있고, 스프라이트 애니메이션도 어색하다. 설명도 여전히 문장 위주다. 왼쪽 아래의 첫 퀘스트부터 “통통한 작물을 눌러 수확해요.”라는 문장이다. 심볼을 이용한 튜토리얼이 들어가긴 했는데, 뭔가 그럴듯해 보여도 내가 봐도 뭘 설명하는 건지 모르겠다.

가장 심각한 건 주인공 캐릭터였다. 스프라이트 애니메이션 때문에 특정 방향으로 이동할 때는 뒷걸음으로 걸어간다. 이동 방향과 스프라이트 방향이 제대로 맞물리지 않은 것 같은데, 아이가 직접 움직이는 캐릭터라 더 눈에 띈다.

부족한 볼륨은 채우면 되지만, 애니메이션이 쉽지 않다


레시피나 농작물 종류처럼 콘텐츠를 늘리는 건 어렵지 않았다. 이런 종적 확장은 금방 이해하고 추가해 준다. 기존에 만들어둔 구조를 따라 데이터를 늘리는 일이라 에이전트가 잘하는 영역이다.

문제는 캐릭터 애니메이션이다. 애니메이션은 결과물을 눈으로 보고 어색한지 판단해야 하는 영역이다. GPT-6 아스트라 사용 후기에서 3D 모델을 뽑을 때도 느꼈지만, 비전 쪽은 특화된 모델과 도구를 써야 한다. 아스트라 단독으로는 에셋 영역을 해결하지 못한다. 게임에 들어간 이미지도 사실 별도의 GPT 이미지 생성 모델을 써서 해결한 것이다.

애니메이션을 고치는 과정에서는 스프라이트가 관절별로 분리되어 Live2D 형태로 바뀌기도 했다. 관절을 나누면 더 자연스럽게 움직일 거라고 판단한 것 같은데, 퀄리티는 오히려 더 나빠졌다. 결국 핀셋 지적을 하면서 하나하나 고쳤고, 그렇게 해서 겨우 어색함이 사라진 정도다.

좋았던 것도 분명 있었다


그렇다고 비전 쪽이 다 안 되는 건 아니었다.

명확한 레퍼런스를 바탕으로 만든 결과물

레퍼런스가 확실하면 잘 만든다

넘버블록스처럼 레퍼런스가 확실하고 도형 형태인 캐릭터는 모델 데이터를 잘 생성했다. 1, 2, 4 캐릭터와 함께 숫자 게이트나 계단, 다리, 경사로 같은 지형 요소까지 넘버블록스 느낌으로 잘 뽑아냈다. 간단한 이동 애니메이션도 잘 만들었고, 언리얼 엔진으로 임포트해서 배치하고 테스트하는 것까지 잘 진행했다.

SVG 도표를 엑스칼리드로우 문서로 옮긴 결과

SVG로 생성한 도표를 엑스칼리드로우 문서로 옮긴 결과

SVG로 생성한 도표를 엑스칼리드로우 문서로 컨버팅하는 것도 잘한다. 예전에는 엑스칼리드로우 문서 자체를 제대로 만들지 못했는데, 5.6 솔부터 잘하기 시작했다. 오푸스 5.5는 이 작업을 잘 못했다.

SVG를 그대로 엑스칼리드로우 문서로 옮겨내는 걸 보고 드디어 모델에 눈이 달렸구나 싶었다. 덕분에 도표는 에이전트에게 맡기고, 필요하면 엑스칼리드로우에서 직접 손볼 수 있게 됐다. 비전 쪽도 많이 따라왔다고 생각했는데, 이번 게임을 만들어 보니 적어도 레퍼런스가 확실한 경우에 한해서인 것 같다.

크로스 리뷰 환경에서의 코드 품질은 만족


오푸스 5에서 이야기한 오푸스 5.5와 아스트라의 크로스 리뷰 환경도 계속 쓰고 있다. 오푸스 5.5가 플랜을 세우고 코드를 작성하면 아스트라가 리뷰하고, 서로 합의가 되어야 일감이 끝나는 방식이다. 이 환경에서는 드디어 내가 얼추 바라던 코드가 나오는 것 같다.

좀 더 많은 코드를 봐야 알겠지만, 소위 하네스를 잘 깎아두면 된다는 말이 이제는 어느 정도 체감된다. 코드 리뷰를 거의 하지 않아도 되지 않을까 하는 수준까지는 도달했다고 생각한다.

그래도 아직은 AI에게 모든 걸 맡길 순 없다


그렇다고 개발 자체를 AI에게 맡길 수는 없다. 사람의 드라이빙은 여전히 필요하다.

해줘로 시작해서 고쳐줘로 끝나는 단순한 바이브 코딩으로는 제품 수준의 개발이 어렵다. 소위 말하는 또 하나의 AI 슬롭만 남길 뿐이다. 만들고자 하는 제품의 기획과 스펙을 명확하게 정리하고, 하네스를 구축한 다음, 에이전트에게 지시를 잘 하는 게 필요하다. 이번 게임만 해도 처음 준 요구사항으로는 단순한 터치 게임이 나왔고, 애니메이션은 결국 내가 하나하나 짚어줘야 했다.

에이전트가 생성하는 코드를 리뷰하는 게 병목이라는 데에는 많은 부분에 동의한다. 그래도 에이전트가 생성하는 코드의 얼개를 보면서 드라이빙해 주는 건 아직 필요하지 않을까. 정말로 하네스를 장인 정신으로 깎고 모든 에이전트의 컨텍스트 관리와 프롬프팅까지 해낸다면 필요 없을 수도 있다. 다만 개인적으로는 그런 환경을 아직 접하지 못했다.

6개월 뒤는 어떤 모습일까


6개월 전, 올해 4월을 생각하면 정말 많이 달라졌다. 새 모델이 나올 때마다 뭐가 나아졌나 싶었는데, 지금 돌아보면 엄청나게 달라져 있다. 아직까지는 정말 지수적으로 발전하고 있는 것 같다는 생각도 든다.

그렇다면 6개월 뒤에는 정말 원샷 프롬프팅만으로 내가 원하는 수준의 제품이 튀어나올 수 있을까? 6개월 뒤는 모를 일이지만 지금 당장은 개인적으로 그 수준에 도달하지 못했다고 느낀다. 여전히 수많은 지점에서 사람이 잘 드라이빙해 줘야 한다.

애초에 나조차도 어렴풋하게 생각하고 있는 개념은 설명하기 어렵다. 이번 게임도 처음에는 요구사항이 명확하다고 생각했지만, 첫 결과물을 보고 나서야 내가 원한 게 뭔지 더 구체적으로 설명할 수 있었다. 그런데 아무리 AI라 한들 내 생각을 정확하게 꿰뚫을 수 있을까. 명확한 레퍼런스가 있거나 AI가 지금보다 훨씬 크리에이티브한 추론을 할 수 있다면 가능할 것이다. 하지만 아직까지는 정답이 있는 문제는 그 누구보다 잘 풀어도, 새로운 문제를 만드는 부분은 혁신적으로 와닿지 않았다.

도구로서는 그 어떤 도구보다 훌륭하고 생산성 높은 도구다. 하지만 사람과 같은 하나의 주체로 본다면 아직은 글쎄.

그래도 계속해서 엄청난 발전을 보여주고 있는 건 사실이니, 앞으로 어떻게 될지는 모르겠다. 감히 예측할 수 없는 시대라고 생각한다. 그저 어떤 미래가 다가오든 최대한 생존할 수 있도록 발버둥 쳐 볼 뿐.

AD