{"id":1228,"date":"2024-07-18T08:15:52","date_gmt":"2024-07-18T11:15:52","guid":{"rendered":"https:\/\/portal7ia.com.br\/?p=1228"},"modified":"2024-07-18T19:18:29","modified_gmt":"2024-07-18T22:18:29","slug":"codestral-mamba-o-novo-modelo-de-ia-linear-para-codificacao-e-raciocinio","status":"publish","type":"post","link":"https:\/\/portal7ia.com.br\/index.php\/2024\/07\/18\/codestral-mamba-o-novo-modelo-de-ia-linear-para-codificacao-e-raciocinio\/","title":{"rendered":"Codestral Mamba: O novo modelo de IA linear para codifica\u00e7\u00e3o e racioc\u00ednio"},"content":{"rendered":"\n

A Mistral AI lan\u00e7a dois novos modelos de IA, mas aqui vamos falar somente de um dos lan\u00e7amentos que \u00e9 o Codestral Mamba<\/strong>.<\/p>\n\n\n\n

Efici\u00eancia e escalabilidade al\u00e9m dos modelos Transformer<\/h4>\n\n\n\n

Ap\u00f3s a publica\u00e7\u00e3o da fam\u00edlia Mixtral, o Codestral Mamba \u00e9 mais um passo em nosso esfor\u00e7o para estudar e fornecer novas arquiteturas. Diferentemente dos modelos Transformer, os modelos Mamba oferecem a vantagem de infer\u00eancia em tempo linear e a capacidade te\u00f3rica de modelar sequ\u00eancias de comprimento infinito.<\/p>\n\n\n\n

Desempenho compar\u00e1vel aos melhores modelos, com infer\u00eancia em tempo linear<\/h4>\n\n\n\n

Isso permite que os usu\u00e1rios interajam extensivamente com o modelo, obtendo respostas r\u00e1pidas, independentemente do tamanho da entrada. Essa efici\u00eancia \u00e9 especialmente relevante para casos de uso de produtividade em c\u00f3digo – \u00e9 por isso que treinamos este modelo com capacidades avan\u00e7adas de c\u00f3digo e racioc\u00ednio, permitindo que ele tenha um desempenho compar\u00e1vel aos modelos baseados em transformers mais avan\u00e7ados.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Benchmarks detalhados do Codestral Mamba:<\/h4>\n\n\n\n

Testamos o Codestral Mamba em capacidades de recupera\u00e7\u00e3o em contexto de at\u00e9 256 mil tokens. Esperamos que seja um \u00f3timo assistente de c\u00f3digo local!<\/p>\n\n\n\n

F\u00e1cil implanta\u00e7\u00e3o local com suporte SDK e reposit\u00f3rio GitHub<\/h4>\n\n\n\n

Voc\u00ea pode implantar o Codestral Mamba usando o SDK mistral-inference, que se baseia nas implementa\u00e7\u00f5es de refer\u00eancia do reposit\u00f3rio GitHub do Mamba. O modelo tamb\u00e9m pode ser implantado atrav\u00e9s do TensorRT-LLM. Para infer\u00eancia local, fique atento ao suporte no llama.cpp. Voc\u00ea pode baixar os pesos brutos do HuggingFace. Este \u00e9 um modelo instru\u00eddo, com 7.285.403.648 par\u00e2metros.<\/p>\n\n\n\n

Dispon\u00edvel gratuitamente na la Plateforme, junto com o poderoso Codestral 22B<\/h4>\n\n\n\n

Para facilitar os testes, disponibilizamos o Codestral Mamba na la Plateforme (codestral-mamba-2407), junto com sua irm\u00e3 mais velha, Codestral 22B. Enquanto o Codestral Mamba est\u00e1 dispon\u00edvel sob a licen\u00e7a Apache 2.0, o Codestral 22B est\u00e1 dispon\u00edvel sob uma licen\u00e7a comercial para implanta\u00e7\u00e3o pr\u00f3pria ou uma licen\u00e7a comunit\u00e1ria para fins de teste.<\/p>\n\n\n\n

Refer\u00eancias:<\/h5>\n\n\n\n

Fonte: https:\/\/mistral.ai\/news\/codestral-mamba\/<\/a><\/em>
Codestral Mamba: https:\/\/arxiv.org\/abs\/2312.00752<\/a>
Mistral Inference: https:\/\/github.com\/mistralai\/mistral-inference\/releases\/tag\/v1.2.0<\/a>
TensorRT_LLM: https:\/\/github.com\/NVIDIA\/TensorRT-LLM\/tree\/main\/examples\/mamba<\/a>
HuggingFace: https:\/\/huggingface.co\/mistralai\/mamba-codestral-7B-v0.1<\/a>
la Platforme: https:\/\/console.mistral.ai\/<\/a>
Commercial license: https:\/\/mistral.ai\/contact\/<\/a><\/em><\/p>\n\n\n\n

\n\n\n\n

Pesquisa, Curadoria, Edi\u00e7\u00e3o, formata\u00e7\u00e3o e finaliza\u00e7\u00e3o:<\/em>
Werney Lima, julho 18, 2024 (Quinta-feira) – 06:21 hrs.<\/em>
Fonte: https:\/\/mistral.ai\/news\/codestral-mamba\/<\/em>

<\/p>\n","protected":false},"excerpt":{"rendered":"

A Mistral AI lan\u00e7a dois novos modelos de IA, mas aqui vamos falar somente de um dos lan\u00e7amentos que \u00e9 o Codestral Mamba. Efici\u00eancia e escalabilidade al\u00e9m dos modelos Transformer Ap\u00f3s a publica\u00e7\u00e3o da fam\u00edlia Mixtral, o Codestral Mamba \u00e9 mais um passo em nosso esfor\u00e7o para estudar e fornecer novas arquiteturas. Diferentemente dos modelos […]<\/p>\n","protected":false},"author":1,"featured_media":1252,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1,30,33],"tags":[8,263,9,10],"class_list":["post-1228","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blog","category-llms","category-news","tag-ai","tag-codestral-mamba","tag-ia","tag-inteligencia-artificial"],"blocksy_meta":[],"brizy_media":[],"_links":{"self":[{"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/posts\/1228","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/comments?post=1228"}],"version-history":[{"count":6,"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/posts\/1228\/revisions"}],"predecessor-version":[{"id":1248,"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/posts\/1228\/revisions\/1248"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/media\/1252"}],"wp:attachment":[{"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/media?parent=1228"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/categories?post=1228"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/portal7ia.com.br\/index.php\/wp-json\/wp\/v2\/tags?post=1228"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}