Chatbot Arena hilft Ihnen, die Fähigkeiten neuronaler Netze für dieselben Abfragen zu vergleichen

Was ist Chatbot Arena?

Chatbot Arena ist ein System, mit dem Sie verschiedene Sprachmodelle neuronaler Netze testen, vergleichen und bewerten können Leistung sowie die Anpassung der Testparameter entsprechend den Projektanforderungen und die Auswahl der effektivsten Möglichkeit.

Die Plattform basiert auf dem Elo-Bewertungssystem, das aus der Welt des Schachs entlehnt ist. Es fungiert als zuverlässiger Vergleichsmechanismus – mit diesem Prinzip können Sie eine nahezu unbegrenzte Anzahl paarweiser Kombinationen neuronaler Netze auswerten. Beim Testen von Sprachmodellen sammelt der Dienst Informationen über die Einsatzmöglichkeiten jedes neuronalen Netzwerks für verschiedene Aufgaben.

So verwenden Sie Chatbot Arena

ChatBot Arena enthält viele Sprachmodelle zum Vergleich miteinander, darunter so große wie GPT-4 von OpenAI und Claude von Anthropic. Hier werden auch alte Versionen von GPT und anderen Open-Access-Neuronalen Netzen vorgestellt.

Offiziellen Website Der Dienst bietet mehrere Möglichkeiten zum Testen und Vergleichen von Modellen. Im „Battle“-Modus werden die Namen der neuronalen Netze nicht angezeigt; Sie überprüfen die Antworten auf eine Anfrage von zwei Systemen gleichzeitig, ohne zu wissen, welches davon gerade ausgelöst wird. Im offenen Vergleichsformular (Side-by-Side) können Sie aus einer Liste auswählen, welche Modelle Sie testen möchten.

Für einen vollständigen Test müssen Sie im Eingabefeld mehrere Fragen stellen, bis klar ist, welcher der beiden Chatbots besser antwortet. Wenn Sie Ihr Urteil fällen, klicken Sie auf eine der Schaltflächen, die Ihre Entscheidung bestätigt: „A ist besser“ oder „B ist besser“. Sie können auch die Option „Gleichstand“ wählen, wenn beide Chatbots gleich gut abgeschnitten haben, oder „Beide schlecht“, wenn Ihnen keine der Antworten gefallen hat.

Sobald Sie den Gewinner ermittelt haben, fordert ChatBot Arena im Kampfmodus automatisch jeden Bot auf, seine „Identität“ zu bestätigen, damit Sie verstehen, welches Modell an der Spitze liegt. Die Ergebnisse hängen normalerweise davon ab, welche Abfragen Sie stellen.