В начале 1938 года внимание Рундштедта, как всегда целиком сконцентрированное на проблемах армии, было привлечено политическим скандалом, когда в результате махинаций Гиммлера у Гитлера появился повод убрать с занимаемого им места главу сухопутных сил Фрича. И хотя Фрич был впоследствии полностью оправдан, это уже ничего не изменило: прежнее место оказалось занятым. Спустя несколько месяцев Рундштедт подписался под меморандумом, составленным главой Генерального штаба Беком, в попытке обуздать крайне рискованную агрессивную политику Гитлера. Но протест военных оказался тщетным и привел лишь к смещению Бека с поста. Осенью после оккупации Судетской области Рундштедт обратился с просьбой об отставке, мотивируя свое решение преклонным возрастом. Просьба была удовлетворена.

В августе 1939 года он был назначен командующим армейской группой на польском фронте. Тот факт, что Рундштедт послушно принял назначение, на первый взгляд трудно объяснить, поскольку он всегда придерживался убеждения, что основополагающим принципом внешней политики Германии должно было стать недопущение еще одной войны с Англией. Чувство патриотизма, подвигшее его сыграть одну из главных ролей в войне, которая, как он предсказывал, могла стать роковой для Германии, не объясняет до конца действий Рундштеда. Чтобы разобраться в происшедшем, следует в первую очередь осознать, что прежде всего он был солдатом до мозга костей и с молоком матери впитал чувство долга и обязанность выполнять приказы. Нельзя забывать и о психологии потомственного военного, который не смог устоять перед возможностью проявить свои профессиональные качества.

Последнее удалось ему блестяще, поскольку именно его группа армий с триумфом прошествовала сначала по Польше, а затем по Франции. Однако имеются основания предполагать, что, несмотря на повсеместно воздаваемые ему славу и почести, его постоянно мучила тревога. В русской кампании 1941 года Рундштедт снова подтвердил, что по праву носит военную форму. Действующие под его командованием войска разгромили русские армии на юге страны и отдали в руки немецких оккупантов полезные ископаемые и плодородные сельскохозяйственные угодья Украины. На этот раз даже победы не приносили морального удовлетворения и казались преддверием будущего краха. Еще задолго до конца Рундштедт испытывал опасения, поэтому и настоятельно советовал Гитлеру не нападать на Россию, чем вызвал недовольство фюрера. Когда же осенью встал вопрос, продолжать ли наступление на Москву, Рундштедт высказался не просто за остановку, а за отвод войск на исходную позицию. Этот совет не понравился Гитлеру еще больше. Одновременно и Рундштедта стало все больше раздражать вмешательство «капрала» Гитлера в командование войсками. Дело кончилось тем, что в ответ на очередной приказ Рундштедт отправил фюреру телеграмму, в которой говорилось, что, если фюрер ему не доверяет и не позволяет действовать по собственному усмотрению, ему (фюреру) придется подыскать на должность командующего войсками другую кандидатуру. Гитлер с радостью принял отставку, потому что постоянные протесты и сомнения генерала действовали ему на нервы, которые и так были истрепаны в погоне за ускользающей победой.