'진짜 지능' 재는 벤치마크, ARC-AGI란 무엇?

알파고의 충격 이후, 인공지능(AI)은 눈부신 속도로 발전해 왔습니다. 이제 AI는 그림을 그리고, 작곡을 하며, 우리와 자연스럽게 대화까지 나눕니다. 하지만 이런 AI가 정말로 '지능'을 가졌다고 말할 수 있을까요? 특정 작업은 능숙하게 해내지만, 처음 보는 낯선 문제 앞에서는 당황하는 모습을 보이기도 합니다. 바로 이 지점에서, AI의 진정한 지능을 측정하려는 특별한 시험대가 등장했습니다. 'ARC-AGI'가 그 주인공입니다.

 

 

특정 기술 아닌 '진짜 지능' 향하여

ARC-AGI는 '추상화 및 추론 코퍼스(Abstraction and Reasoning Corpus for Artificial General Intelligence)'의 약자입니다. 이름이 조금 어렵게 느껴지시나요? 쉽게 말해, AI가 얼마나 똑똑한지를 재는 '지능 시험'이라고 할 수 있습니다. 딥러닝 라이브러리 '케라스(Keras)'의 창시자로 유명한 구글의 프랑수아 숄레(François Chollet)가 2019년에 제안한 이 개념은 기존의 AI 평가 방식에 근본적인 질문을 던졌지요.

 

기존의 AI 벤치마크는 대부분 특정 기술을 평가하는 데 초점을 맞췄습니다. 예를 들어, 수백만 장의 고양이 사진을 학습한 AI가 새로운 고양이 사진을 얼마나 잘 알아보는지 시험하는 식입니다. 이는 AI가 방대한 데이터를 통해 특정 패턴을 얼마나 잘 '암기'했는지를 측정하는 것과 같습니다. 하지만 우리가 생각하는 진정한 지능은 암기력만으로 완성되지 않습니다. 오히려 처음 접하는 문제라도, 주어진 정보 안에서 규칙을 발견하고 해결책을 찾아내는 유연한 사고 능력, 즉 '유동 지능(fluid intelligence)'이 핵심입니다.

 

ARC-AGI는 바로 이 유동 지능을 측정하기 위해 설계되었습니다. 특정 분야의 사전 지식이나 방대한 훈련 데이터 없이, 오직 순수한 추론 능력만으로 문제를 해결해야 하는 셈입니다. 이는 마치 우리가 처음 보는 퍼즐을 풀 때와 비슷하다고 할 수 있겠네요.

 

ARC-AGI는 어떻게 AI의 지능을 시험할까

ARC-AGI의 문제 형식은 매우 독특하면서도 간단합니다. AI에게는 몇 쌍의 '입력(before)' 격자와 '출력(after)' 격자가 예시로 주어집니다. 각 격자는 여러 가지 색깔의 점들로 채워져 있습니다. AI의 과제는 이 예시들을 보고 입력 격자가 출력 격자로 바뀌는 '규칙'이나 '패턴'을 스스로 알아내는 것입니다. 그리고 그 규칙을 새로운 '시험용' 입력 격자에 적용하여 올바른 출력 격자를 만들어내야 합니다.

 

예를 들어볼까요? 예시 문제에서 파란색 점이 항상 빨간색 점으로 바뀌고, 그 외의 색은 그대로 유지되는 규칙을 보여줬다고 가정해 보세요. 그렇다면 시험 문제에 파란색 점이 포함된 새로운 입력 격자가 주어졌을 때, AI는 파란색 점만 빨간색으로 바꿔서 출력해야 정답으로 인정됩니다.

 

물론 실제 문제들은 이보다 훨씬 복잡하고 추상적인 규칙을 담고 있습니다. 도형을 대칭으로 옮기거나, 특정 색깔의 점들만 남기고 지우거나, 여러 객체의 개수를 세어 크기를 결정하는 등 무궁무진한 규칙이 존재합니다. 중요한 점은 이 모든 규칙을 단 서너 개의 예시만 보고 파악해야 한다는 것입니다. 이는 AI에게 패턴 암기를 넘어서는 진정한 '이해'와 '추론'을 요구하는 것이지요.

 

왜 ARC-AGI가 중요한가

ARC-AGI는 단순히 AI를 괴롭히기 위한 어려운 시험이 아닙니다. 이것이 중요한 이유는 인공일반지능(AGI), 즉 인간처럼 다양한 영역에서 사고하고 학습할 수 있는 범용적인 AI로 나아가는 길을 제시하기 때문입니다.

 

• 일반화 능력 측정: ARC-AGI는 AI가 특정 데이터에만 과적합되지 않고, 새로운 상황에서도 배운 원리를 적용할 수 있는지를 평가합니다. 이는 매우 적은 데이터로 학습하는 '퓨샷 러닝(few-shot learning)'의 극한을 시험하는 것과 같습니다.
• 효율성 강조: 인간은 몇 가지 예시만으로도 문제의 핵심을 빠르게 파악합니다. ARC-AGI는 무작정 많은 계산을 동원하는 '무차별 대입(brute-force)' 방식으로는 풀기 어려운 문제들을 통해, AI가 얼마나 효율적으로 해결책을 찾는지를 측정하고자 합니다. 진정한 지능은 정답을 맞히는 것뿐만 아니라, 그 과정의 효율성도 포함하기 때문이지요.
• 인간의 지능에 가까운 방식: ARC-AGI의 문제들은 인간이라면 누구나 약간의 관찰과 추론을 통해 풀 수 있도록 설계되었습니다. 이는 기계적인 연산 능력이 아닌, 인간이 가진 직관적이고 유연한 사고 능력에 더 가까운 지능을 AI가 갖추도록 연구 방향을 유도하는 효과가 있습니다.

 

최근에는 OpenAI와 같은 선도적인 AI 연구소들이 ARC-AGI 벤치마크에서 상당한 성과를 거두며 많은 주목을 받았습니다. 하지만 여전히 인간의 평균적인 점수에는 미치지 못하고 있으며, 이는 아직 AI가 넘어야 할 산이 많다는 것을 보여줍니다. ARC-AGI는 계속해서 ARC-AGI-2, ARC-AGI-3와 같이 진화하며 AI의 한계를 시험하고 있습니다. 단순한 기술의 숙련도를 넘어, 미지의 문제를 해결하는 진정한 지능을 향한 인류의 여정에서 ARC-AGI는 가장 중요한 나침반이 되어줄 것입니다.

 

참고: 모든 LLM에 적용 가능한 프롬프트 엔지니어링 꿀팁 7가지

참고: 초보를 위한 제미니 CLI 설치 & 세팅 가이드 (Win10 기준)

참고: 진통제 타이레놀, 아픈 마음도 가라앉힐 수 있다?