Veja o que Jiayi Pan disse no X:<\/p>\n\n\n\n
\n“N\u00f3s reproduzimos o DeepSeek R1-Zero no jogo CountDown, e simplesmente funciona!”<\/em><\/p>\n\n\n\n
“Atrav\u00e9s do aprendizado por refor\u00e7o (RL), o modelo base de 3 bilh\u00f5es de par\u00e2metros desenvolve habilidades de auto-verifica\u00e7\u00e3o e busca por conta pr\u00f3pria.”<\/em><\/p>\n<\/blockquote>\n\n\n\n
\n\n\n\nEm postagem posterior, afirma que foram necess\u00e1rias 10 horas de H100, somando o custo de $30<\/strong>.<\/p>\n\n\n\n
Esta conquista n\u00e3o s\u00f3 democratiza o acesso a avan\u00e7os em IA, mas tamb\u00e9m lan\u00e7a luz sobre o poder do aprendizado por refor\u00e7o<\/em> em modelos menores.<\/p>\n\n\n\n
\n\n\n\nMomento Aha do DeepSeek-Rl-Zero<\/h2>\n\n\n\n
Um fen\u00f4meno particularmente intrigante observado durante o treinamento do DeepSeek-Rl-Zero<\/em> \u00e9 a ocorr\u00eancia de um “momento aha”<\/em>.<\/p>\n\n\n\n
Este momento ocorre em uma vers\u00e3o intermedi\u00e1ria do modelo. Durante esta fase, o DeepSeek-Rl-Zero aprende a dedicar mais tempo de pensamento<\/strong> a um problema, reavaliando sua abordagem inicial.<\/p>\n\n\n\n
Esse comportamento n\u00e3o \u00e9 apenas um testemunho das crescentes habilidades de racioc\u00ednio do modelo, mas tamb\u00e9m um exemplo cativante de como o aprendizado por refor\u00e7o<\/em> pode levar a resultados inesperados e sofisticados.<\/p>\n\n\n\n
Este momento \u00e9 n\u00e3o apenas um “momento aha”<\/em> para o modelo, mas tamb\u00e9m para os pesquisadores que observam seu comportamento.<\/p>\n\n\n\n
Ele destaca o poder e a beleza do aprendizado por refor\u00e7o: em vez de ensinarmos explicitamente ao modelo como resolver um problema, simplesmente fornecemos os incentivos certos, e ele desenvolve autonomamente estrat\u00e9gias avan\u00e7adas de solu\u00e7\u00e3o de problemas.<\/p>\n\n\n\n
O “momento aha”<\/em> serve como um lembrete poderoso do potencial do aprendizado por refor\u00e7o para desbloquear novos n\u00edveis de intelig\u00eancia<\/strong> em sistemas artificiais, abrindo caminho para modelos mais aut\u00f4nomos e adaptativos no futuro.<\/p>\n\n\n\n
\n\n\n\nO Papel Crucial do Aprendizado por Refor\u00e7o<\/h2>\n\n\n\n
O aprendizado por refor\u00e7o<\/em> (RL) tem se mostrado uma ferramenta poderosa para desenvolver habilidades avan\u00e7adas em modelos de linguagem.<\/p>\n\n\n\n
Ao fornecer uma fun\u00e7\u00e3o de recompensa bem definida<\/em> \u2014 como a corre\u00e7\u00e3o de respostas em tarefas matem\u00e1ticas ou l\u00f3gicas \u2014, o modelo aprende a ajustar suas respostas de forma aut\u00f4noma.<\/p>\n\n\n\n
Isso permite que o modelo desenvolva um mon\u00f3logo interno<\/strong>, aprimorando habilidades de autoverifica\u00e7\u00e3o<\/em> e refinamento de respostas.<\/p>\n\n\n\n
\n\n\n\nA Aplica\u00e7\u00e3o Pr\u00e1tica no Jogo “Countdown”<\/h2>\n\n\n\n
Jiayi Pan aplicou o aprendizado por refor\u00e7o ao jogo “Countdown”<\/em>, um desafio matem\u00e1tico onde jogadores combinam n\u00fameros usando opera\u00e7\u00f5es aritm\u00e9ticas para atingir um n\u00famero alvo.<\/p>\n\n\n\n
Devido \u00e0 natureza objetiva do jogo, em que h\u00e1 uma resposta correta clara, o modelo p\u00f4de receber sinais de recompensa precisos<\/strong>.<\/p>\n\n\n\n
O Processo de Treinamento<\/h3>\n\n\n\n
O processo de treinamento seguiu etapas espec\u00edficas:<\/p>\n\n\n\n
\n
- In\u00edcio com Sa\u00eddas Aleat\u00f3rias<\/strong>:
O modelo inicialmente gerava respostas incorretas ou sem sentido.<\/li>\n\n\n\n- Desenvolvimento de Estrat\u00e9gias<\/strong>:
Gradualmente, come\u00e7ou a adotar t\u00e1ticas como revis\u00e3o de passos<\/em> e busca ativa<\/em> por solu\u00e7\u00f5es.<\/li>\n\n\n\n- Evolu\u00e7\u00e3o Aut\u00f4noma<\/strong>:
Sem instru\u00e7\u00f5es expl\u00edcitas, o modelo passou a autocorrigir-se<\/em>, refinando suas respostas at\u00e9 alcan\u00e7ar a solu\u00e7\u00e3o correta.<\/li>\n<\/ol>\n\n\n\n
\n\n\n\nUm Exemplo Ilustrativo<\/h3>\n\n\n\n
\n
- Usu\u00e1rio<\/strong>: “Usando os n\u00fameros 19, 36, 55 e 7, crie uma equa\u00e7\u00e3o que resulte em 65.”<\/li>\n\n\n\n
- Assistente<\/strong>:
“Vamos resolver passo a passo:<\/li>\n<\/ul>\n\n\n\n\n
- Subtraia 19 de 55: 55 – 19 = 36.<\/li>\n\n\n\n
- Some 36: 36 + 36 = 72.<\/li>\n\n\n\n
- Subtraia 7: 72 – 7 = 65. Portanto, a equa\u00e7\u00e3o \u00e9: (55 – 19) + 36 – 7 = 65.<\/strong><\/li>\n<\/ol>\n\n\n\n
\n\n\n\nPrincipais Descobertas e Implica\u00e7\u00f5es<\/h2>\n\n\n\n
\n
- Import\u00e2ncia do Tamanho do Modelo Base<\/strong>:
Modelos com mais de 1,5 bilh\u00e3o de par\u00e2metros<\/em> come\u00e7aram a demonstrar habilidades avan\u00e7adas de racioc\u00ednio.
Modelos menores n\u00e3o alcan\u00e7aram o mesmo desempenho, destacando a import\u00e2ncia de um tamanho m\u00ednimo para emergir tais capacidades.<\/li>\n\n\n\n- Versatilidade do Tipo de Modelo<\/strong>:
Tanto modelos base quanto modelos ajustados por instru\u00e7\u00f5es foram eficazes.
Embora os modelos ajustados por instru\u00e7\u00f5es aprendam mais rapidamente, ambos convergiram para n\u00edveis semelhantes de desempenho.<\/li>\n\n\n\n- Independ\u00eancia do Algoritmo de Aprendizado por Refor\u00e7o<\/strong>:
O tipo espec\u00edfico de algoritmo de RL (como PPO, GRPO ou PRIME) n\u00e3o impactou significativamente os resultados.
O elemento crucial \u00e9 a aplica\u00e7\u00e3o do aprendizado por refor\u00e7o em si.<\/li>\n\n\n\n- Adapta\u00e7\u00e3o \u00e0 Tarefa<\/strong>:
O modelo ajustou seu processo de racioc\u00ednio conforme a tarefa.
No “Countdown”<\/em>, desenvolveu estrat\u00e9gias de busca e verifica\u00e7\u00e3o de solu\u00e7\u00f5es.
Em tarefas de multiplica\u00e7\u00e3o, dividiu problemas em etapas menores para facilitar a resolu\u00e7\u00e3o.<\/li>\n<\/ul>\n\n\n\n
\n\n\n\nO Futuro dos Modelos de Linguagem Pequenos e Especializados<\/h2>\n\n\n\n
As descobertas de Jiayi Pan t\u00eam implica\u00e7\u00f5es profundas para o futuro da IA.<\/p>\n\n\n\n
Demonstram que modelos menores podem ser altamente eficazes em tarefas espec\u00edficas quando combinados com o aprendizado por refor\u00e7o.<\/strong><\/p>\n\n\n\n
Isso abre caminho para o desenvolvimento de in\u00fameros modelos especializados, hiper ajustados para resolver problemas complexos em dom\u00ednios restritos, democratizando o acesso a tecnologias avan\u00e7adas de IA.<\/strong><\/p>\n\n\n\n
\n\n\n\n