Mark Zuckerberg acabou de fazer um anúncio importante e confirmou que o LLaMA 3 está em treinamento.(18/01/2024)
Para os que não sabem, o LLaMA é um modelo de linguagem de inteligência artificial desenvolvido pela Meta AI. Executa tarefas como geração de texto, resposta a perguntas e geração de código de programação (ex. python, javascript, etc.)
Palavras do Mark Zuckerberg:
“Ei, pessoal, hoje eu estou unindo os dois esforços de pesquisa em IA da Meta para apoiar nossos objetivos de longo prazo de construir inteligência artificial geral, disponibilizá-la de maneira responsável e torná-la útil para todos em nossas vidas diárias.
Ficou claro que a próxima geração de serviços exige a construção de inteligência artificial geral completa, desde os melhores assistentes de IA, IA para criadores, negócios e muito mais.
Para isso acontecer, precisamos avançar em todas as áreas de IA, desde reasoning(raciocínio) até planejamento, memória, programar softwares, habilidade cognitivas, etc.
Essa tecnologia é tão importante, as oportunidades são tão grandes que vamos abrir o código e disponibilizá-lo da maneira mais ampla possível, para que todos possam se beneficiar.
Estamos construindo uma quantidade enorme de infraestrutura para suportar isso. Até o final deste ano, teremos cerca de 350.000 Nvidia H100.
Atualmente, estamos treinando o LLaMA 3 e temos um mapa emocionante de modelos futuros que continuaremos a treinar de maneira responsável e segura.
As pessoas também vão precisar de novos dispositivos para IA, o que aproxima a IA do metaverso. Ao longo do tempo, muitos de nós conversaremos com IA frequentemente durante o dia, e muitos de nós faremos isso usando óculos, pois são ideais para permitir que a IA veja e ouça o que você vê e ouve.
Os óculos Ray-Ban Meta com a IA já estão começando muito bem. E, em geral, em tudo isso, estamos apenas começando.”
Nesse vídeo curto, ele soltou toneladas de novas informações.
Primeiro, vamos direto ao ponto:
O LLaMA 3 está em treinamento.
Quando o LLaMA 1 vazou, mudou completamente o mundo. De repente, qualquer pessoa poderia ter um modelo de linguagem grande(LLM) e capaz que poderia ser usado em hardware para consumidores.
Logo depois, o LLaMA 2 foi lançado e era comercialmente viável, completamente de código aberto e tinha um desempenho incrível.
Há alguns meses, ele deu uma dica no podcast de Lex Freedman de que o LLaMA 3 estava em desenvolvimento, mas não deu muitas informações.
Agora temos um relatório conclusivo diretamente da boca de Zuckerberg que diz que o LLaMA 3 está atualmente em treinamento.
Ele também reforçou o fato de que a Meta é verdadeiramente uma empresa de IA agora.
Que mudança incrível de seu enorme investimento no metaverso. Não estou dizendo que estão se afastando completamente do metaverso, mas estão definitivamente se destacando no mundo da IA de código aberto e construindo uma enorme infraestrutura de computação com 350.000 GPUs H100.
Cada um desses H100 custa $30.000, então, se eles têm 350.000 deles, estamos falando de aproximadamente $10 bilhão em poder de computação de GPU. E isso nem inclui a infraestrutura necessária para alimentar e resfriar essas GPUs.
Está muito claro que ele é um grande defensor da inteligência artificial geral e espera que a Meta seja a empresa que a alcançará e a disponibilizará em código aberto.
Fonte: https://www.youtube.com/watch?v=7LASttrRkVo&t=1s
Data de Publicação do Vídeo no Youtube: 18/01/2023