Чтобы переключиться на все исключения сейчас, я должен:
Thrown колонке рядом с "Common Language Runtime Eceptions" 
Обычно я хочу остановиться на всех исключениях, но при работе с кодом, использующим исключения в основных случаях, мне нужно отключить это поведение. При нажатии клавиши было бы хорошо.
Для этого нет встроенного способа.
Однако, если вы не используете Visual Studio Express, вы можете попробовать это расширение: Exception Breaker, оно работает для меня.
Что это расширение делает, это кнопка панели инструментов, которая в основном переключает флажок, который вы показывали на картинке. И вы можете назначить ему нажатие клавиши, как любую другую кнопку на панели инструментов.