尝试关闭 Visual Basic 中所有打开的窗体

我想要它，所以当单击我的按钮时，我退出我的应用程序。我尝试了一个简单的 for 循环：

Private Sub CloseAllToolStripMenuItem_Click(sender As Object, e As EventArgs) Handles CloseAllToolStripMenuItem.Click
    For Each Form In My.Application.OpenForms
        Form.Close()
    Next
End Sub

但是，在关闭除带有此按钮的表单之外的所有表单后，我收到此错误：

mscorlib.dll 中发生“System.InvalidOperationException”类型的未处理异常 附加信息：集合已修改；枚举操作可能无法执行。

我相信这是因为我在循环进入下一个表单之前关闭了执行代码的表单。如果是这种情况，我怎样才能让我的循环在最后一个表单关闭后完成？我能做到吗？

关闭除当前表单之外的所有表单：

My.Application.OpenForms.Cast(Of Form)() _
              .Except({Me}) _
              .ToList() _
              .ForEach(Sub(form) form.Close())

正常关闭应用程序：

Application.Exit()

强制应用程序退出：

Environment.Exit(1)