Form1（起動時のメインフォーム）に配置している「Button1」をクリックしたときにForm1を閉じてForm2をメインフォームとしたく思います。
mainApplicationContext を使用するかと思いますがいまひとつ記述の仕方がわかりません。
記述場所は、Form1のButton1_Click〜　のところでよろしいのでしょうか？
Form1にはほかにもボタンが配置されており、クリックすると別のFormが呼び出されますが「Button1」をクリックする以外ではメンフォームはForm1のままにしたいと考えます。
Form2からForm1を開くことはありません。
以上、ご教授よろしくお願いいたします。

下記ではだめですか？

メインフォームを入れ替える
http://dobon.net/vb/dotnet/form/showforminsequence.html

ここのページを読んだのですが知識不足でよくわからなかったので…。
<STAThread()> _　←ここの意味もわからなかったり…と。

うーん、単純にメイン画面起動を切り替えたいだけなら、Clickイベントに

Dim frm2 As New Form2
Me.Hide()
frm2.ShowDialog()
これでも良いかと。ただしForm1は閉じて(Close)はしてないので、厳密に言うと違うかもしれませんが。。。