Desenvolvimento do Algoritmo
Pesquisadores do Laboratório de IA de Xangai acabaram de desenvolver um novo algoritmo chamado MCT Self-Refine, que permitiu que um modelo relativamente pequeno com 8 bilhões de parâmetros atingisse o desempenho do GPT-4 em matemática complexa.
Detalhes do Algoritmo
O MCT Self-Refine combina um modelo LLaMa de 8 bilhões de parâmetros com a Pesquisa de Árvore Monte Carlo, uma técnica de IA famosa usada pela Google DeepMind para dominar o jogo de Go. O algoritmo constrói uma árvore de busca, refinando respostas por meio de uma série de processos e autoavaliação.
Resultados e Benchmarks
No benchmark de problemas de palavras matemáticas GSM-Hard, a infusão da Pesquisa de Árvore Monte Carlo levou o modelo de 8 bilhões de parâmetros de uma precisão de 25,5% para 45,5%. O modelo também atingiu 96,7% no benchmark GSM8K, superando modelos significativamente maiores como GPT-4, Claude e Gemini.
Importância da Pesquisa
A pesquisa mostra que é possível aumentar as capacidades matemáticas sem uma escala massiva — e o desempenho ao nível do GPT-4 com um modelo treinado com 200x menos parâmetros é um feito impressionante. Se a abordagem provar ser um caminho mais eficiente para o raciocínio avançado, poderíamos estar à beira de uma nova onda de aceleração de modelos.
Paper: https://arxiv.org/pdf/2406.07394
Pesquisa, Curadoria, Edição, formatação e finalização:
Werney Lima, junho 17, 2024 (Segunda-feira) – 08:53 hrs.