Ich tippe entweder auf mangelnde Kühlung, oder defekten Speicher (wenn die Sache mit dem AGP nicht funktioniert hat). An einen Ressourcenkonflikt glaube ich nicht, denn dann würde sich der Rechner nicht nur bei 3D-Anwendungen aufhängen. Allerdings kann man aus der Ferne nichts bestimmtes sagen.
Zur Kühlung: Schalte den Rechner aus, und lass ihn eine halbe Stunde stehen, damit wirklich alles kalt ist. Schraub ihn dann auf und schalte ihn ein. Wenn du ein BIOS hast, in dem die aktuelle Kern- und / oder Gehäusetemperatur angezeigt wird, dann beobachte das mal 'ne ganze Weile (am besten mit noch geschlossenem Rechner). Steigt die Temperatur stetig an, dann könnte das schon der Grund sein. Wie ich sehe hast du einen Intel-Prozessor. Das ist in so fern schon mal ganz gut, weil die eine niedrigere Betriebstemperatur haben als die AMDs.
Schau auch mal nach wie die Luftzirkulation im Rechner ist. Sie sollte von vorn unten durch den Rechner nach hinten oben zum Netzteil gehen. Das kannst du prüfen, indem du irgendwas qualmendes (Räucherstäbchen oder Zigarette - pass aber auf die Asche auf

) hinein hälst und den Qualm beobachtest. In dem Raum in dem du dich befindest muß jedoch absolute Windstille herrschen, also Fenster und Türen zu. Bei offenem Rechner ist jedoch ausreichend Zirkulation gegeben, d.h. wenn er in diesem Zustand nicht abstürtzt, dann ist der Fehler schon gefunden.
Zum Speicher: Wenn du sagst, dass sich der Rechner bei 3D-Anwendungen aufhängt, dann kann es sein, dass der Arbeitsspeicher defekt ist. 3D-Anwendungen wollen i.d.R. viel davon haben, und wenn auf eine bestimmte Stelle im Arbeitsspeicher zugegriffen wird, die defekt ist, dann führt das unweigerlich zum Absturz.
Es gibt diverse Tools mit denen man den RAM testen kann. Auf Arbeit benutzen wir dazu DocMem, was uns schon gute Dienste geleistet hat. Jedes andere gute (!!!) Programm tut es aber auch. Bedenke aber bitte, dass ein Programm welches den Speicher in nur fünf Minuten testet, kein gutes ist! Das Programm sollte auch automatisch mehrere Testdurchläufe hintereinander machen. Es ist schon vorgekommen, dass der Speicher neun mal fehlerfrei getestet wurde, und erst beim zehnten Mal ein Fehler auftrat. Das Programm sollte den Speicher auch auf mehrere verschiedene Arten testen. Also nicht einfach nur Bit für Bit lesen und schreiben.
Um sicher zu gehen kannst du aber auch ein neues Speichermodul einbauen (allerdings alleine!) und den Rechner damit betreiben. Die Wahrscheinlichkeit, dass dieses Modul ebenfalls defekt ist, ist recht gering. Wenn es mit diesem Modul funktioniert, dann ... naja du weist schon was dann ist

.
Wenn das alles nix gebracht hat, dann müßte man sich den Rechner mal von nahem anschauen, weil man in solchen Fällen normalerweise aus der Ferne kaum etwas machen kann. Also schick ihn doch einfach mal vorbei

.
Du sagst, dass du alles schon versucht hast. Was war es denn genau, was du gemacht hast? Vielleicht kann man ja so schon einige Fehlerquellen ausschließen.