Und was sagt z.B. top? Die Ramauslastung wäre interessant.
Läuft eigentlich GNOME auf dem Server? Wenn Ja, würde ich X-Windows standardmäßig deaktivieren und nur bei Bedarf starten.
Um das zu machen musst Du in /etc/inittab:
auf
ändern. Das spart beim nächsten Reboot ca. 250MB Ram.