O chat.lmsys.org é uma plataforma online conhecida como Chatbot Arena, desenvolvida pela LMSYS (Large Model Systems Organization) e membros do UC Berkeley SkyLab. Suas principais características são:
- Permite que usuários conversem com e comparem diferentes modelos de linguagem de grande escala (LLMs) lado a lado.
- Oferece uma avaliação ao vivo, aberta e orientada pela comunidade de vários LLMs, incluindo modelos comerciais como GPT-4 e Gemini, bem como modelos de código aberto.
- Utiliza um sistema de votação onde os usuários podem votar no melhor modelo após interagir com dois modelos anônimos.
- Serve como uma plataforma de avaliação em larga escala, tendo atraído milhões de participantes e coletado mais de 800.000 votos desde seu lançamento em maio de 2023.
- Publica periodicamente um ranking dos modelos avaliados, fornecendo insights valiosos sobre o desempenho dos LLMs.
- É um projeto de código aberto, com sua infraestrutura (FastChat) e ferramentas de avaliação disponíveis no GitHub, promovendo transparência e colaboração.
- Contribui para o avanço do desenvolvimento e compreensão dos LLMs através de avaliações em casos de uso do mundo real.
O Chatbot Arena é parte da missão mais ampla da LMSYS de democratizar as tecnologias subjacentes aos grandes modelos e seus sistemas, tornando-os mais acessíveis e escaláveis.
Referências:
[1] https://chat.lmsys.org
[2] https://lmsys.org
[4] https://arena.lmsys.org
[5] https://twitter.com/lmsysorg
Tutorial Passo a Passo:
Passo 1:
Primeiro, acesse chat.lmsys.org
Uma vez lá, você notará algumas opções diferentes:
Arena (battle) – Converse anonimamente com dois chatbots diferentes e vote no melhor
Arena (side-by-side) – Compare dois chatbots diferentes um ao lado do outro
Direct Chat – Escolha um chatbot para testar (Claude 3.5, Llama 3, Phi 3, GPT-4o, e mais)
Para hoje, vamos focar no Direct Chat.
Passo 2:
Em seguida, clique em ‘Direct Chat’
Você verá um texto que diz ‘Escolha qualquer modelo para conversar’.
Logo abaixo desse texto, provavelmente estará selecionado ‘claude-3-5-sonnet-20240620’.
Tudo o que você precisa fazer é clicar no menu suspenso e escolher qualquer chatbot que você queira testar e você está pronto para começar.
Passo 3:
Por fim, insira seu prompt da mesma forma que faria no ChatGPT, Claude ou qualquer outro chatbot e aperte ‘Enter’.
Abaixo da caixa de texto, você notará que pode votar positivamente, votar negativamente, sinalizar, regenerar ou limpar o histórico.
Não gostou da primeira resposta que recebeu? Clique em ‘Regenerar’.
Curiosidade: Antes de a OpenAI lançar o GPT-4o, a empresa testou-o primeiro neste mesmo site.
Ele foi rotulado como ‘im-a-good-gpt2-chatbot’ e confundiu muitos porque era muito melhor do que qualquer outro modelo na época.
Pesquisa, Curadoria, Edição, formatação e finalização:
Werney Lima, julho 02, 2024 (Terça-feira) – 05:04 hrs.