Treinamos modelos de linguagem grandes por difus\u00e3o que s\u00e3o at\u00e9 10 vezes mais r\u00e1pidos e baratos do que os LLMs atuais, expandindo a fronteira da intelig\u00eancia e velocidade para modelos de linguagem.<\/p>\n\n\n\n
O modelo de gera\u00e7\u00e3o de c\u00f3digo, Mercury Coder, est\u00e1 dispon\u00edvel para teste em um playground. Oferecemos aos clientes empresariais acesso a modelos de c\u00f3digo e generalistas atrav\u00e9s de uma API e implanta\u00e7\u00f5es locais.<\/p>\n\n\n\n
Os modelos de linguagem grandes atuais s\u00e3o auto-regressivos, o que significa que eles geram texto da esquerda para a direita, um token de cada vez. A gera\u00e7\u00e3o \u00e9 inerentemente sequencial \u2014 um token n\u00e3o pode ser gerado at\u00e9 que todo o texto que o precede tenha sido gerado \u2014 e gerar cada token requer a avalia\u00e7\u00e3o de uma rede neural com bilh\u00f5es de par\u00e2metros.<\/p>\n\n\n\n
Empresas de LLMs de fronteira est\u00e3o apostando na computa\u00e7\u00e3o em tempo de teste para aumentar as capacidades de racioc\u00ednio e corre\u00e7\u00e3o de erros, mas gerar longos rastros de racioc\u00ednio tem como pre\u00e7o custos de infer\u00eancia exorbitantes e lat\u00eancia inutiliz\u00e1vel.<\/p>\n\n\n\n
Uma mudan\u00e7a de paradigma \u00e9 necess\u00e1ria para tornar as solu\u00e7\u00f5es de IA de alta qualidade verdadeiramente acess\u00edveis.<\/p>\n\n\n\n
Modelos de difus\u00e3o proporcionam tal mudan\u00e7a de paradigma. Estes modelos operam com um processo de gera\u00e7\u00e3o \u201cgrosseiro para fino\u201d, onde a sa\u00edda \u00e9 refinada a partir de ru\u00eddo puro ao longo de alguns passos de \u201cremo\u00e7\u00e3o de ru\u00eddo\u201d.<\/p>\n\n\n\n
Como os modelos de difus\u00e3o n\u00e3o s\u00e3o restritos a considerar apenas a sa\u00edda anterior, eles s\u00e3o melhores em racioc\u00ednio e em estruturar suas respostas. E como os modelos de difus\u00e3o podem refinar continuamente suas sa\u00eddas, eles podem corrigir erros e alucina\u00e7\u00f5es.<\/p>\n\n\n\n
Por estas raz\u00f5es, a difus\u00e3o impulsiona todas as solu\u00e7\u00f5es de IA mais proeminentes para gera\u00e7\u00e3o de v\u00eddeo, imagem e \u00e1udio, incluindo Sora, Midjourney e Riffusion. No entanto, as aplica\u00e7\u00f5es da difus\u00e3o a dados discretos, como texto e c\u00f3digo, nunca foram bem-sucedidas. At\u00e9 agora.<\/p>\n\n\n\n
Mercury Coder<\/strong> expande a fronteira das capacidades de IA: \u00e9 5 a 10 vezes mais r\u00e1pido do que a gera\u00e7\u00e3o atual de LLMs, fornecendo respostas de alta qualidade a baixos custos.<\/p>\n\n\n\n Nosso trabalho se baseia em pesquisas inovadoras de nossos fundadores \u2013 que foram pioneiros nos primeiros modelos de difus\u00e3o para imagens \u2013 e que co-inventaram t\u00e9cnicas essenciais de IA generativa, como Otimiza\u00e7\u00e3o Direta de Prefer\u00eancia, Flash Attention e Decision Transformers.<\/p>\n\n\n\n Um dLLM \u00e9 um substituto direto para um LLM auto-regressivo t\u00edpico, suportando todos os seus casos de uso, incluindo RAG, uso de ferramentas e fluxos de trabalho agentivos.<\/p>\n\n\n\n Quando solicitado com uma consulta, em vez de produzir a resposta um token de cada vez, a resposta \u00e9 gerada de forma grosseira para fina. Melhorias s\u00e3o sugeridas por uma rede neural \u2013 no nosso caso, um modelo Transformer \u2013 que \u00e9 treinada em grandes quantidades de dados para melhorar globalmente a qualidade da resposta, modificando v\u00e1rios tokens em paralelo.<\/p>\n\n\n\n Mercury Coder<\/strong> \u00e9 um dLLM especificamente otimizado para gera\u00e7\u00e3o de c\u00f3digo. Quando avaliado em benchmarks de codifica\u00e7\u00e3o padr\u00e3o, Mercury Coder<\/strong> atinge excelente qualidade em in\u00fameros benchmarks, muitas vezes superando o desempenho de modelos auto-regressivos otimizados para velocidade como GPT-4o Mini e Claude 3.5 Haiku, sendo at\u00e9 10 vezes mais r\u00e1pido.<\/p>\n\n\n\n O que diferencia os dLLMs \u00e9 a sua velocidade. Enquanto mesmo os modelos auto-regressivos otimizados para velocidade rodam no m\u00e1ximo a 200 tokens por segundo, podemos servir Mercury Coder<\/strong> em NVIDIA H100s comuns a velocidades de mais de 1000 tokens por segundo, um aumento de 5x.<\/p>\n\n\n\n Comparado com alguns modelos de fronteira, que podem rodar a menos de 50 tokens por segundo, oferecemos uma acelera\u00e7\u00e3o de mais de 20X.<\/p>\n\n\n\n A taxa de transfer\u00eancia alcan\u00e7ada por dLLMs era anteriormente alcan\u00e7\u00e1vel apenas usando hardware especializado, como Groq, Cerebras e SambaNova. Nossas melhorias algor\u00edtmicas s\u00e3o ortogonais \u00e0 acelera\u00e7\u00e3o de hardware e os ganhos de velocidade se somariam em chips mais r\u00e1pidos.<\/p>\n\n\n\n Tamb\u00e9m estamos entusiasmados em relatar que desenvolvedores preferem as conclus\u00f5es de c\u00f3digo do Mercury em compara\u00e7\u00e3o com os modelos de c\u00f3digo existentes. Quando comparado no Copilot Arena, (https:\/\/lmarena.ai\/?leaderboard<\/a>), Mercury Coder Mini<\/strong> est\u00e1 empatado em segundo lugar, superando o desempenho de modelos otimizados para velocidade como GPT-4o Mini e Gemini-1.5-Flash e at\u00e9 mesmo de modelos maiores como GPT-4o.<\/p>\n\n\n\n Ao mesmo tempo, \u00e9 o modelo mais r\u00e1pido, cerca de 4 vezes mais r\u00e1pido que o GPT-4o Mini. Convidamos voc\u00ea a explorar as capacidades de nossos modelos em primeira m\u00e3o em nosso playground(https:\/\/chat.inceptionlabs.ai<\/a>), hospedado em parceria com a Lambda Labs. Experimente a precis\u00e3o do Mercury Coder<\/strong> na gera\u00e7\u00e3o de c\u00f3digo de alta qualidade em uma fra\u00e7\u00e3o do tempo.<\/p>\n\n\n\n Nossos primeiros clientes, que incluem l\u00edderes de mercado em \u00e1reas como suporte ao cliente, gera\u00e7\u00e3o de c\u00f3digo e automa\u00e7\u00e3o empresarial, est\u00e3o substituindo com sucesso modelos base auto-regressivos padr\u00e3o por nossos dLLMs como substitutos diretos. Isso se traduz em melhores experi\u00eancias de usu\u00e1rio e custos reduzidos.<\/p>\n\n\n\n Em aplica\u00e7\u00f5es sens\u00edveis \u00e0 lat\u00eancia, nossos parceiros eram frequentemente limitados a usar modelos menores e menos capazes para atender aos requisitos rigorosos de lat\u00eancia. Gra\u00e7as ao desempenho superior dos dLLMs, esses parceiros agora podem usar modelos maiores e mais capazes, mantendo seus requisitos originais de custo e velocidade.<\/p>\n\n\n\n Oferecemos acesso aos nossos modelos atrav\u00e9s de uma API e via implanta\u00e7\u00f5es locais. Nossos modelos s\u00e3o totalmente compat\u00edveis com hardware, conjuntos de dados e pipelines de ajuste fino supervisionado (SFT) e alinhamento (RLHF) existentes. Suporte para ajuste fino est\u00e1 dispon\u00edvel para ambas as op\u00e7\u00f5es de implanta\u00e7\u00e3o.<\/p>\n\n\n\n Mercury Coder<\/strong> \u00e9 o primeiro de uma s\u00e9rie de pr\u00f3ximos dLLMs. Um modelo projetado para aplica\u00e7\u00f5es de chat est\u00e1 em beta fechado.<\/p>\n\n\n\n Modelos de linguagem de difus\u00e3o desbloquear\u00e3o um novo conjunto de capacidades para LLMs, incluindo:<\/p>\n\n\n\n Mercury Coder<\/strong> est\u00e1 dispon\u00edvel para testes em nosso playground. Comece por aqui: https:\/\/share.hsforms.com\/1GYg8v9p2SjGC-tTtTD23pAc5yjb<\/a> https:\/\/x.com\/inceptionAILabs<\/a> Para obter acesso antecipado \u00e0 API e entre em contato atrav\u00e9s do email sales@inceptionlabs.ai para discutir como os dLLMs podem transformar suas aplica\u00e7\u00f5es AI.<\/p>\n\n\n\nCompara\u00e7\u00e3o de velocidade; Tokens de sa\u00edda por segundo; Carga de trabalho de codifica\u00e7\u00e3o<\/h2>\n\n\n\n
O que isso significa para as aplica\u00e7\u00f5es de IA<\/h2>\n\n\n\n
O que vem a seguir?<\/h2>\n\n\n\n
\n
VISITAR PLAYGROUND: https:\/\/chat.inceptionlabs.ai\/<\/a><\/p>\n\n\n\nRefer\u00eancias:<\/h2>\n\n\n\n
PLAYGROUND: https:\/\/chat.inceptionlabs.ai\/<\/a><\/p>\n\n\n\n
https:\/\/www.linkedin.com\/company\/inception-labs-a<\/a>
https:\/\/bsky.app\/profile\/inceptionlabs.bsky.social<\/a><\/p>\n\n\n\n