Estamos contribuindo Mathstral para a comunidade científica para impulsionar esforços em problemas matemáticos avançados que exigem raciocínio lógico complexo e de múltiplas etapas. O lançamento do Mathstral faz parte de nosso esforço mais amplo para apoiar projetos acadêmicos — foi produzido no contexto de nossa colaboração com o Project Numina.
Desempenho
Assim como Isaac Newton em seu tempo, Mathstral se apoia nos ombros do Mistral 7B e se especializa em disciplinas STEM. Ele atinge capacidades de raciocínio de ponta em sua categoria de tamanho em vários benchmarks padrão da indústria. Em particular, ele atinge 56,6% no MATH e 63,47% no MMLU, com a seguinte diferença de desempenho MMLU por assunto entre Mathstral 7B e Mistral 7B.
Detalhe do Mathstral 7B por assunto
Mathstral é mais um exemplo das excelentes compensações desempenho/velocidade alcançadas ao construir modelos para fins específicos – uma filosofia de desenvolvimento que promovemos ativamente na Plateforme, particularmente com suas novas capacidades de ajuste fino.
Benchmarks detalhados do Mathstral 7B
Mathstral pode alcançar resultados significativamente melhores com mais computação de tempo de inferência: Mathstral 7B marca 68,37% no MATH com votação majoritária e 74,59% com um forte modelo de recompensa entre 64 candidatos.
Mathstral é um modelo instruído – use-o ou ajuste-o como tal, consultando nossa documentação. Os pesos são hospedados no HuggingFace. Você pode testar Mathstral agora com mistral-inference e adaptá-lo com mistral-finetune.
Agradecemos ao Professor Paul Bourdon por curar os problemas do GRE Math Subject Test usados em nossa avaliação.
Referências:
Fonte: https://mistral.ai/news/mathstral/
Project Numina: https://projectnumina.ai/
Fine Tuning: https://docs.mistral.ai/capabilities/finetuning/
Hugging Face: https://huggingface.co/mistralai/mathstral-7B-v0.1
Mistral Inference: https://github.com/mistralai/mistral-inference/releases/tag/v1.2.0
Mistral Fine Tuning GitHub: https://github.com/mistralai/mistral-finetune
Professor Bourdon: https://uva.theopenscholar.com/paul-bourdon/
Pesquisa, Curadoria, Edição, formatação e finalização:
Werney Lima, julho 18, 2024 (Quinta-feira) – 10:41 hrs.