Stanford-Wissenschaftler stellen fest, dass GPT-4 mit der Zeit dümmer wird
Verschiedenes / / July 20, 2023
Die Genauigkeit der kostenpflichtigen Version von ChatGPT war geringer als die des kostenlosen Chatbots.
Neu lernen von Wissenschaftlern der Stanford University bestätigten, worüber sich Internetnutzer seit Wochen beschweren: ChatGPT Plus, basierend auf GPT-4 ist wirklich dümmer geworden – im Gegensatz zu GPT-3.5, auf dem die kostenlose Version des Chatbots läuft.
In ihrer Studie verglichen die Autoren Antworten auf verschiedene Anfragen eines Chatbots auf Basis von GPT-4 und GPT-3.5. Sie stellte fest, dass das Verhalten des Chatbots und die Genauigkeit der Antworten auf einige Anfragen in der neuen Version erheblich verbessert wurden verschlechtert.
Die Autoren verglichen die im März und Januar veröffentlichten Sprachmodelle GPT-4 und GPT-3.5. Sie stellten fest, dass in dieser Zeit die Genauigkeit des GPT-4 merklich abnahm, während die des GPT-3.5 im Gegenteil zunahm.
Beispielsweise sank die Genauigkeit der Beantwortung der Frage, ob 17077 eine Primzahl ist, um 95,2 %, während GPT-3.5 im Gegenteil von 7,4 % auf 86,8 % stieg. Außerdem ist die Chance auf eine erfolgreiche Ausführung des vom neuronalen Netzwerk geschriebenen Codes in den aktuellen Versionen beider Modelle gesunken.
Zuvor bereits OpenAI-Vizepräsident Peter Welinder antwortete zu den Vorwürfen von ChatGPT Plus-Nutzern:
Nein, wir haben das GPT-4 nicht dümmer gemacht. Alles ist genau das Gegenteil: Wir machen jede neue Version intelligenter als die vorherige.
Jetzt haben wir diese Hypothese: Wenn Sie etwas aktiver nutzen, beginnen Sie, Probleme zu bemerken, die Sie vorher nicht gesehen haben.
Peter Welinder
Vizepräsident für Produkt bei OpenAI
In einer der Antworten auf diesen Tweet sagte Welinder fragte Beweise dafür liefern, dass der Chatbot schlechter geworden ist. Fünf Tage später erschien eine Studie von Stanford-Wissenschaftlern – und es gab noch keine Antwort von OpenAI.
Dies ist nicht das erste Mal, dass GPT-4 der Bereitstellung falscher Informationen beschuldigt wird. Im März berichteten die Analysten von NewsGuard entdecktdass ChatGPT auf Basis von GPT-4 leichter zu lügen ist – während OpenAI selbst eine um 40 % höhere Genauigkeit der Antworten im Vergleich zu GPT-3.5 angibt. IN Insbesondere war es in den NewsGuard-Tests weniger wahrscheinlich, dass die neue Version des neuronalen Netzwerks falsche Informationen widerlegte – einschließlich falscher Daten über moderne Ereignisse und Theorien Verschwörungen.
Lesen Sie auch🧐
- 6 Analoga von ChatGPT
- James Cameron über die Gefahren der KI: „Ich habe Sie 1984 gewarnt, aber Sie haben nicht zugehört“
- 8 Mythen über künstliche Intelligenz, an die selbst Programmierer glauben