O recente paper “More Agents is All You Need“, da empresa chinesa Tencent, explora uma abordagem intrigante para melhorar o desempenho de grandes modelos de linguagem: a inteligência coletiva. Seus autores descobriram que a performance desses modelos escala com o número de agentes instanciados através de um método de amostragem e votação.
A ideia por trás é simples, porém poderosa: assim como um grupo de pessoas votando tende a tomar melhores decisões do que um indivíduo só, múltiplos agentes de IA trabalhando em conjunto e votando nas melhores respostas podem superar um único agente. E quanto mais difícil a tarefa, maior o benefício de se usar muitos agentes.
Os resultados são impressionantes, mostrando grandes ganhos de acurácia ao passar de 1 para 10 agentes, em tarefas que vão de matemática a xadrez, codificação e raciocínio. Além disso, essa abordagem parece ser complementar a outros métodos existentes, podendo ser combinada com eles para obter ainda mais melhorias.
Embora promissora, a abordagem de inteligência coletiva também levanta algumas preocupações sérias sobre potenciais ataques de sybil (múltiplas identidades falsas criadas por uma única entidade mal-intencionada). A medida que esses agentes se tornarem mais capazes, filtrá-los através de métodos algorítmicos pode se tornar cada vez mais difícil, exigindo maior verificação de identidade humana única.
No centro dessa discussão está uma questão maior: como será o mundo quando essas inteligências artificiais coletivas avançadas emergirem? Será um novo renascimento para a humanidade ou um caminho sombrio? Independentemente do resultado, uma coisa é certa: estamos entrando em tempos realmente interessantes e imprevisíveis. A inteligência coletiva pode ser o primeiro passo importante rumo à tão especulada AGI. Apenas o tempo dirá.
Resumo do Paper More Agents is All You Need
https://arxiv.org/pdf/2402.05120.pdf
Conclusão Principal
A performance dos modelos de linguagem em grande escala (LLMs) pode ser significativamente melhorada aumentando o número de agentes, utilizando um método simples de amostragem e votação.
Sumário
- A performance dos LLMs escala com o número de agentes, conforme demonstrado por um método de amostragem e votação.
- O método de amostragem e votação é independente dos métodos complicados existentes para aprimorar ainda mais os LLMs.
- A eficácia do método está correlacionada com a dificuldade da tarefa.
- Experimentos abrangentes foram realizados em diversos benchmarks de LLMs para verificar a descoberta.
- O método de amostragem e votação pode ser usado em conjunto com outros métodos existentes para melhorar ainda mais a performance.
- A análise da dificuldade do problema revelou propriedades que podem facilitar a aplicação do método.
- O estudo é o primeiro a examinar sistematicamente a propriedade de escala dos agentes LLMs.
- O método foi avaliado em tarefas de raciocínio aritmético, raciocínio geral e geração de código.
- Diferentes modelos de linguagem foram utilizados na avaliação, incluindo Llama2 e GPT.
- A combinação do método com outros métodos mostrou melhorias adicionais em várias tarefas e modelos de linguagem.
- Aumentar o número de agentes pode permitir que modelos menores superem modelos maiores em termos de desempenho.
- Integração com o método Debate em modelos menores resultou em casos de falha de desempenho.
- O método é implementado através de um processo de amostragem e votação, onde múltiplas respostas são geradas e a resposta final é determinada por votação majoritária.
Pesquisa, Curadoria, Edição, formatação e finalização:
Werney Lima, April 10, 2024 (Wednesday)
Fonte: https://www.youtube.com/watch?v=6E7GsUST6XY
Resumido e Traduzido pelo ChatGPT 3.5
Ferramentas normalmente usadas: Harpa.AI, Feedly, Canva, Affinity Photo, Obsidian.