GPT-6 아스트라 사용 후기에서 이야기한 것처럼, 급격히 부족해진 주간 사용량이 계속 신경 쓰였다. 리셋 소식을 잘못 예상해 사용량을 다 소모하고 3일 정도 손가락을 빨고 있던 도중 오푸스 5.5가 출시되었다.
커뮤니티에서는 오푸스 5.5에 대한 호평이 이어졌다. 특히 아스트라 대비 토큰 비용, 그러니까 가성비가 좋다는 이야기가 많았다. 고민하다 클로드의 Max x5를 구독하고, 개인 프로젝트에서 크로스 리뷰 기반 개발을 테스트해봤다.
오푸스가 만들고, 아스트라가 리뷰하는 방식
크로스 리뷰는 이미 한참 전부터 쓰이던 워크플로우다. 서로 다른 회사의 에이전트가 상대의 작업을 리뷰하고 검토하면서 약점을 보완하는 방식이다.
이번에 오푸스 5.5가 플랜을 만들고 아스트라가 리뷰하도록 했다. 서로 합의가 되면 플랜을 바탕으로 오푸스 5.5가 코드를 작성하고, 작성된 코드를 다시 아스트라가 리뷰한다. 코드에 대해서도 합의가 끝나면 일감을 마치는 방식이다.
플랜도 리뷰, 코드도 리뷰. 끝날 때까지 서로 확인한다
회사에서는 두 회사의 에이전트를 모두 구독하고 있어서 클로드 코드 위주의 크로스 리뷰 하네스로 개발하고 있다. 반면 개인 프로젝트는 그동안 코덱스만 사용했다.
사람의 코드 리뷰가 적은 환경에서는 크로스 리뷰가 어느 정도 필수라고 생각한다. 그런 면에서는 코드 리뷰 없이 바이브 코딩으로 진행하는 내 개인 프로젝트에도 권장할 만한 방식이다. 다만 토이 프로젝트이기도 해서 그동안 굳이 도입하지는 않았다. 직접 코드를 리뷰하며 진행하는 경우에는 프로젝트 자체보다 학습에 목적이 있었고.
여러 번의 에이전트 리뷰를 거치다 보니 결과물이 나오기까지 시간이 꽤 걸린다는 단점도 있다. 이번에 개인 프로젝트에 적용했을 때도 이 부분은 마찬가지였다.
아스트라를 계속 쓰면서 걸렸던 부분
앤트로픽과 오픈AI의 모델들은 각각 개성이 확실하고, 코딩 성능에 대한 평가도 그때그때 달라진다. 개인 프로젝트는 대부분 코드 리뷰 없이 바이브 코딩으로 진행했기 때문에 나 역시 결과물 위주로 평가해왔다. 그런데 아스트라에서는 결과물 외에 사용량을 신경 쓰지 않을 수가 없었다.
Pro x20에서 추론 수준을 high로 두고 goal을 걸어두면 이틀도 채 안 돼서 주간 사용량이 바닥났다. 이 정도로 소모되면 별생각 없이 계속 바이브 코딩을 하기는 어렵다. 하위 모델을 쓰거나, 내가 개입해서 토큰을 좀 더 효율적으로 쓰게 해야 한다. 아니면 추가 구독을 하거나.
코드가 확실히 덜 장황해졌다
크로스 리뷰로 진행해보니 아스트라만 쓸 때보다 확실히 마음에 드는 결과물이 나왔다. 여기서 좋다는 건 코드의 절대적인 품질을 말하는 게 아니다. 내가 의도한 수준과 구조의 코드가 잘 나오는가가 내 판단 기준이다.
그 기준에서 가장 눈에 띄는 차이는 코드의 장황함이 많이 줄었다는 점이다. 이전 글에서 아스트라가 내 의도보다 지침을 과하게 적용하는 부분이 아쉽다고 했는데, 이번 결과물은 내가 원한 모습에 좀 더 가까웠다.
다만 코드를 작성하는 건 오푸스 5.5이기 때문에, 이 차이가 모델 자체의 성능이나 성향 때문인지 크로스 리뷰 환경 덕분인지는 확실하지 않다. 정확하게 비교하려면 조건을 맞추고 변수를 줄여서 벤치마킹해야겠지만, 지금 목적이 벤치마킹은 아니다.
어쨌든 결과물이 내 의도에 어느 정도 가깝게 나와주어서 만족스럽다. 여러 번 리뷰를 거치느라 시간이 많이 걸리는 것은 여전히 단점이지만, 나온 코드를 보면 이 방식을 쓰는 보람은 있다.
크로스 리뷰에서는 사용량이 얼마나 들었나
두 모델 모두 추론 수준은 high로 두었다. 오푸스 5.5가 1차 플랜과 코드를 작성하고, 아스트라가 리뷰하는 방식으로 3일을 썼더니 클로드 코드의 Max x5 주간 사용량이 바닥났다. 같은 기간 코덱스의 Pro x20은 약 40%를 소모했다.
3일 동안 각 구독의 주간 사용량을 이만큼 썼다
앞으로 두 회사의 x5 플랜을 함께 쓰는 것도 생각하고 있어서, 이번 사용량을 그 기준으로 계산해봤다. Pro x20이 Pro x5의 네 배를 제공한다는 기준으로 보면, Pro x20의 25%가 Pro x5 한 주 분량에 해당한다.
이번에는 40%를 썼으니 그보다 15%포인트를 더 쓴 셈이다. 코덱스의 소모량을 Pro x20 기준 40%에서 25%로 줄일 수 있다면, 두 회사의 x5 플랜에서 주간 사용량이 비슷한 속도로 차감될 것으로 보인다. 실제 소모량으로 따지면 지금보다 37.5%를 줄여야 하는 계산이다.
앞으로의 구독 플랜에 대한 고민
이른바 카쫀쿠, 카카오톡 Chat-GPT Pro 프로모션으로 구독한 기간이 이제 두 달 정도 남은 것 같다. 그 이후에도 Pro x20을 계속 구독해야 하나 고민 중이다. 바이브 코딩을 취미로 생각하면 월 220달러까지는 고민이 되긴 해도 감당할 수 있을 것 같다.
비용을 고려하지 않는다면 두 회사에 각각 월 220달러를 내고 Max x20과 Pro x20을 쓰면 깔끔하다. Max x20의 주간 사용량을 Max x5의 약 두 배로 잡으면, 지금과 같은 속도로 사용해도 6일 정도 작업할 수 있다는 계산이다. 그동안 코덱스의 Pro x20은 약 80%를 소모할 테니 얼추 맞는다.
그런데 이렇게 하면 매달 440달러다. 원화로 70만원 넘게 잡아야 하는 금액을 매달 지불하기는 쉽지 않다. 별도로 수익을 만들어낼 수 있는 환경이라면 충분히 지불할 만한 금액으로 보이지만, 취미에 쓰는 비용으로는 고민이 된다.
그래서 지금 시점에서는 두 회사의 x5 플랜을 각각 구독해서 월 220달러 정도를 쓰는 게 가장 나은 선택으로 보인다. 물론 실제로 구독을 바꿀 때는 그때 상황을 보고 다시 판단해야겠지만.
여전히 2~3일이면 사용량을 다 소모할 수 있다는 점은 아스트라만 쓸 때와 크게 다르지 않다. 그래도 내 기준에서는 결과물의 차이가 확실하다. 원하는 코드에 더 가깝게 나와주니, 같은 정도의 비용이라면 이 조합을 쓰는 쪽이 낫겠다는 생각이다.