O Abstraction and Reasoning Corpus ( ARC ) é um benchmark exclusivo projetado para medir a aquisição de habilidades de IA e monitorar o progresso em direção à obtenção de IA de nível humano.
Introduzido em 2019 por François Chollet, engenheiro de software e pesquisador de IA do Google.
O influente artigo de Chollet, ” Sobre a Medida da Inteligência “, define inteligência como a capacidade de um agente de se adaptar a um ambiente em constante mudança e responder apropriadamente em situações novas.
Um teste de QI para IA
O ARC se diferencia dos benchmarks tradicionais de IA porque não depende de tarefas específicas para avaliar a inteligência.
Em vez disso, ele desafia um algoritmo a resolver uma variedade de tarefas até então desconhecidas com base em algumas demonstrações, normalmente três por tarefa.
Enquanto os humanos conseguem resolver sem esforço uma média de 80% de todas as tarefas de ARC, os algoritmos atuais só conseguem gerenciar até 31%.
Referência de inteligência
O ARC avalia a capacidade de uma IA de realizar cada tarefa do zero, usando apenas o tipo de conhecimento prévio sobre o mundo que os humanos possuem naturalmente, conhecido como conhecimento essencial.
Modelos modernos de aprendizado profundo e grandes modelos de linguagem pontuam quase zero no ARC, destacando a necessidade de abordagens inovadoras para atingir IA de nível humano.
Comparabilidade de inteligência
As tarefas do ARC podem ser resolvidas usando apenas o conhecimento básico que as crianças pequenas adquirem naturalmente ou com o qual nascem, sem exigir nenhuma especialização.
As soluções de tarefas não devem depender de nenhum conhecimento específico, como conhecimento de idioma ou cultura (por exemplo, nomes de atores de Hollywood).
Como princípio geral, o ARC é um teste que pode ser feito por qualquer pessoa, independentemente de sua origem, incluindo um marciano, um humano ou uma máquina de um hipotético planeta “Metal”.
Para vivenciar isso em primeira mão, explore a jornada de Brainius: Leia o conto .
Estrutura de tarefas do ARC
Cada tarefa é composta de grades que variam em tamanho de um mínimo de 1×1 a um máximo de 30×30.
As células dentro da grade são preenchidas com um número de 0 a 9, cada um representado por uma cor distinta, totalizando dez cores diferentes.
Procedimento de teste
Os candidatos recebem um conjunto de pares de grades de demonstração. Elas servem como exemplos dos quais eles devem derivar a grade de saída para o teste real.
A tarefa envolve determinar o tamanho da grade de saída para o teste e preencher corretamente cada célula da grade com a cor ou número apropriado.
Critérios para o sucesso
A construção da grade de saída é considerada bem-sucedida somente se o tamanho da grade e a cor de cada célula corresponderem precisamente à resposta esperada.
