A Mistral AI lança dois novos modelos de IA, mas aqui vamos falar somente de um dos lançamentos que é o Codestral Mamba.
Eficiência e escalabilidade além dos modelos Transformer
Após a publicação da família Mixtral, o Codestral Mamba é mais um passo em nosso esforço para estudar e fornecer novas arquiteturas. Diferentemente dos modelos Transformer, os modelos Mamba oferecem a vantagem de inferência em tempo linear e a capacidade teórica de modelar sequências de comprimento infinito.
Desempenho comparável aos melhores modelos, com inferência em tempo linear
Isso permite que os usuários interajam extensivamente com o modelo, obtendo respostas rápidas, independentemente do tamanho da entrada. Essa eficiência é especialmente relevante para casos de uso de produtividade em código – é por isso que treinamos este modelo com capacidades avançadas de código e raciocínio, permitindo que ele tenha um desempenho comparável aos modelos baseados em transformers mais avançados.
Benchmarks detalhados do Codestral Mamba:
Testamos o Codestral Mamba em capacidades de recuperação em contexto de até 256 mil tokens. Esperamos que seja um ótimo assistente de código local!
Fácil implantação local com suporte SDK e repositório GitHub
Você pode implantar o Codestral Mamba usando o SDK mistral-inference, que se baseia nas implementações de referência do repositório GitHub do Mamba. O modelo também pode ser implantado através do TensorRT-LLM. Para inferência local, fique atento ao suporte no llama.cpp. Você pode baixar os pesos brutos do HuggingFace. Este é um modelo instruído, com 7.285.403.648 parâmetros.
Disponível gratuitamente na la Plateforme, junto com o poderoso Codestral 22B
Para facilitar os testes, disponibilizamos o Codestral Mamba na la Plateforme (codestral-mamba-2407), junto com sua irmã mais velha, Codestral 22B. Enquanto o Codestral Mamba está disponível sob a licença Apache 2.0, o Codestral 22B está disponível sob uma licença comercial para implantação própria ou uma licença comunitária para fins de teste.
Referências:
Fonte: https://mistral.ai/news/codestral-mamba/
Codestral Mamba: https://arxiv.org/abs/2312.00752
Mistral Inference: https://github.com/mistralai/mistral-inference/releases/tag/v1.2.0
TensorRT_LLM: https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/mamba
HuggingFace: https://huggingface.co/mistralai/mamba-codestral-7B-v0.1
la Platforme: https://console.mistral.ai/
Commercial license: https://mistral.ai/contact/
Pesquisa, Curadoria, Edição, formatação e finalização:
Werney Lima, julho 18, 2024 (Quinta-feira) – 06:21 hrs.
Fonte: https://mistral.ai/news/codestral-mamba/