Mit Swing kannst Du's auf jeden Fall mal bewerkstelligen, kann aber nur HTML 3.x
Ansonsten eventuell
http://browserlauncher.sourceforge.net/ ?
In der Newsgroup de.comp.lang.java findest Du sehr viele Fragen und Antworten zu diesem Thema, ist leider alles andere als trivial...