Verlasst Euch nicht auf Benchmarks!

[Buschflieger]

Futuremark: Nvidias Treiber enthalten Cheat

3DMark03 Futuremark, die Macher von 3DMark03, haben einen Patch für ihren Benchmark veröffentlicht. Der Patch war nötig geworden, nachdem die Entwickler festgestellt hatten, dass in den aktuellen Nvidia- Treibern Detonator FX ein Cheat enthalten ist, durch den beim Durchlaufen des Benchmark künstlich höhere Werte erreicht werden. Nvidia wurde damit als Cheater entlarvt.

http://www.pcwelt.de/news/hardware/31314

Da tricksen wohl alle, Hardwarehersteller, Programmierer...

[Wolf-Dieter Wahl]

Hallo,

dazu eine Info von ATI (übersetzt von www.ati-news.de):

Nachdem Futuremark am 23. Mai einen weiteren Patch (Build 330) für den 3DMark 2003 veröffentlich hat, um die Treiberoptimierungen von nVidia und ATI zu umgehen, meldet sich nun ATI zu Wort und bezieht Stellung zu den Cheat-Vorwürfen.
Christ Evenden, Public Relation Director bei ATI, erklärt das der 1,9% Leistungsgewinn alleine aus dem Game Test 4 hervorgeht. Laut Christ Evenden hat ATI nur die üblichen Optimierungen durchgeführt, um die Architektur richtig auszunutzen zu können. Ähnliche Optimierungen werden bei Spielen angewendet, um bei gleicher Bildqualität die Bildwiederholrate zu steigern. Um die Legitimität des 3DMarks 2003 nicht noch weiter in Frage zu stellen, wird ATI die Optimierungen wohl schon aus dem nächsten Cataylst-Treiber entfernen.


Vielleicht wieder zu viel Wirbel um die Sache?

[Buschflieger]

Original geschrieben von Wolf-Dieter Wahl
Ähnliche Optimierungen werden bei Spielen angewendet, um bei gleicher Bildqualität die Bildwiederholrate zu steigern. Um die Legitimität des 3DMarks 2003 nicht noch weiter in Frage zu stellen, wird ATI die Optimierungen wohl schon aus dem nächsten Cataylst-Treiber entfernen.

Heisst das, ATI macht den Catalyst 3.x künstlich langsamer, damit er "Futuremark-kompatibel" wird?

Ich denk ich bleib dann besser beim 3.2.

[venux]

Original geschrieben von boerries


Heisst das, ATI macht den Catalyst 3.x künstlich langsamer, damit er "Futuremark-kompatibel" wird?

Ich denk ich bleib dann besser beim 3.2.

Nein, so ist dies bestimmt nicht gemeint. ATi hat wohl einige Optimierungen in die Treiber hinzugefügt die gezielt nur bei 3DMark anspringen. Allerdings hat man ja nach eigenen Aussagen nur die Architektur der ATi-Karten besser ausnutzen wollen. "bla bla"

NVIDIA hat in dem Treiber dafür gesorgt, dass ganze Hintergründe (die nicht zu sehen sind) von den 3D-Szenen nicht berechnet werden, und dabei bis zu 50% mehr Frames rausgeholt. Dies ist natürlich schon ein ziemlich dicker Hund.

Den ganzen Bericht gibt es unter
http://www.heise.de/newsticker/data/jow-24.05.03-001/
zum nachlesen

[frazzz]

ähnliches weis man von ati bei früheren 3marks

es gibt ein nettes tool, das nennt sich fraps und zeigt die aktuellen framraten bei beinahe jedem game ääh jeder sim an.

ist mir persönlich lieber

[John Banks]

Das Benchmarks müll sind, ist kein Geheimnis. Man sollte immer das Spiel selber testen und nicht zu verkrampft versuchen, Punkte aus ner Benchmark zu holen.

Mir ist da mal was komisches passiert. Als ich noch nen AMD 1700XP mit ner GF3 hatte, hatte ich in der MadOnion 2001 gut 8000 Punkte. War schneller als der P4 1,8Ghz mit ner Radeon 8500 meines Kumpels. Ich hab dann mein System von Grund auf frisch installiert, damit ich keinen Treibermüll mehr habe und die Spiele auch besser laufen. Nachdem ich alles wieder drauf hatte mit den gleichen Treibern, alle Windowstweaks waren auch erledigt, liefen die Spiele tatsächlich besser. Bloß in der Benchmark fehlten mir auf einmal 1000 Punkte. Der Grakatreiber war der Gleiche, gleiche Einstellungen und so, aber trotzdem fehlten 1000 Punkte. Da war mir dan irgendwie klar, dass Benchmarks nur sinnloser Schmu sind.

Manche Treiber können viele hundert Punkte rausholen, laufen bei Spielen aber schlechter. Also ein gutes Ergebnis bei ner Benchmark sagt nichts über die tatsächliche Spielperformance aus. Es gab sogar Leute mit nem P2 oder P3, die mehr Punkte hatten, als Leute mit P4 oder AMD XPs. Wer weiss, was die da gedreht haben.

[Betto]

Hallo,

hatten wir auch schon > hier <.

Wie dort schon gesagt, wenn man ein komplexes System wie einen Computer auf nur eine Zahl reduziert und dieser huldigt, muß man sich nicht wundern. Das ist das ganz normale Spiel, jeder spielt es. Nur die "boah ey, geil"-Kiddies gucken noch, wer den grö.. schnellsten hat.

Aber als Stabilitätstest haben Benchmarks durchaus ihre Daseinsberechtigung, aber nur, wenn sie eine Endlos-Schleifen-Funktion haben.

Betto

[Wolf-Dieter Wahl]

Hallo Betto,

ich gebe Dir unbedingt Recht. Ein Benchmark kat durchaus seine Berechtigung. Ich nutze so ein Programm für mich, um z.B. nach einer Änderung der Hardware nachzusehen, ob sich gravierendes getan hat.
Was ich nicht mache ist mich mit anderen Systemen zu vergleichen:"Ich habe 5000 und er hat 5011 Punkte und nun habe ich ein riesiges Problem". Es ist ja wohl so, dass nicht ein System dem anderen gleicht. Was soll man da wohl vergleichen. Hier reicht nicht einmal das geflügelte Wort: Äpfel und Birnen vergleichen sollte man nicht.
Im Übrigen ist der Flusi ein überaus guter Benchmark- und Stabilitätstester. Wenn der Flusi gut läuft, hat man ein stabiles System! Das war schon immer so.
Ach und hier ist die Frage nach der Endlosschleife nicht erst zu stellen.

[Betto]

Dieter,

der mit der Endlosschleife war gut!

Betto

[Wolf-Dieter Wahl]

Hi Betto,

hier noch ein Nachschlag:

http://www.simhq.com/_air/air_062a.html

Leider nur in Enflisch und dass der Flusi2k2 existiert, wussten sie auch nicht. Dennoch interessant.