ちょっと遊びで　お試しで書いてみました。

http://afsoft.jp/test/linktest.html

クリックしたらリンクをするための3D図形を作って、
それらを別のX3Dファイルから Inlineで読み込ませるようにして、そこにアンカーを指定して、各図形間のマップ情報もここに書けばいいかな、という感じで、あとは、各図形の大きさ・基準点をなるべく統一して作成しておくこと、でしょうか。
このX3Dでは指定していませんが、viewpoint もちゃんと登録しておくのが良いでしょうね。図形にぶつかるとそこで止まってしまうようなので、道も想定するのでしょうね。ここでは、X3DからHTMLへリンクしていますが、X3Dから別のX3Dへリンクする事も出来るようですし、色んな動きをつけたり、スクリプトで色々な振る舞いをさせることが出来るようです。