Nein, du solltest keine Probleme haben - ich habe eine ähnliche Konfiguration, allerdings mit 4GB Speicher, aber das spielt in diesem Zusammenhang keine Rolle. Selbst mit der schwachen Onboard-Grafik ist das bei mir gegangen, ohne Hardware-Beschleunigung. Jetzt habe ich eine 9600GT (etwas schwächer als deine Karte).
Versuche noch den
Mediaplayer Classic - Home Cinema, VLC war in letzter Zeit recht buggy.
Wie ist die Prozessorauslastung?
Ist die Hardwarebeschleunigung eingeschaltet?
Hast du ein Temperaturproblem?
Sind die Treiber (Nvidia und allenfalls Chipset) aktuell?