Всего за два месяца до начала войны полк Гаврилова перевели в Брестскую крепость.

Гаврилов редко бывал дома — нелёгкая должность командира полка не оставляла ему свободного времени. Дотошный, как говорили, въедливый начальник, настойчиво и придирчиво вникающий во все мелочи жизни и быта своих подчинённых, он не давал спуска ни себе, ни другим.

Особым чутьём военного, к тому же находившегося на самой границе, Гаврилов угадывал приближение грозовых событий.

Услышав первые взрывы на рассвете 22 июня 1941 года, Гаврилов сразу понял, что началась война. Быстро одевшись, он с пистолетом в руке побежал в центральную цитадель, где находился штаб полка и стояло боевое знамя: его надо было спасать в первую очередь. Гаврилову удалось перебежать мост через реку Мухавец. Мост уже обстреливали немецкие диверсанты. Он не помнил, как бежал среди взрывов по двору цитадели к своим казармам, где на втором этаже помещался штаб.

Но когда он добрался сюда, второй этаж был уже полуразрушен и охвачен огнём. Кто-то из солдат, узнав командира полка, доложил ему, что полковое знамя вынес один из штабных работников.

Тогда Гаврилов принялся собирать своих бойцов, чтобы вести их из крепости на рубеж обороны, назначенный полку. Сделать это было нелегко: в предрассветной полумгле по двору под обстрелом метались, бежали в разные стороны полураздетые люди. Кое-как он собрал десятка два или три бойцов и повёл их перебежками к трёхарочным воротам и снова через мост к главному выходу из крепости. Но выход уже был закрыт — у туннеля северных ворот шёл бой. Немцы сомкнули кольцо вокруг крепости.

Здесь, у выхода, Гаврилов встретился со знакомым ему командиром, капитаном Константином Касаткиным. Касаткин командовал отдельным батальоном связи в той же 42-й дивизии. Батальон его стоял в нескольких километрах отсюда, и Касаткин, живший в крепости, приехал к семье на воскресенье. Теперь он был отрезан от своих бойцов.

На валах и перед воротами разрозненные группы наших стрелков вели перестрелку наседающими немецкими автоматчиками. Гаврилов с помощью Касаткина принялся организовывать тут правильную оборону.

Прибежавший боец доложил майору, что по соседству, в казематах восточной земляной «подковы», собралось несколько сот человек из разных полков, и Гаврилов с Касаткиным поспешили туда. Так они попали в Восточный форт.

В здании, которое стояло в центре «подковы», помещался 393-й отдельный зенитно-артиллерийский дивизион. В ночь начала войны в казармах дивизиона оставалась только одна батарея, два зенитных орудия которой стояли неподалёку от форта, сразу же за внешним его валом. Командовал батареей какой-то старший лейтенант — он-то и поднял своих бойцов по тревоге. Но уже час спустя этот командир был убит, и зенитчиков возглавил начальник связи дивизиона лейтенант Андрей Домиенко и прибежавший сюда из 125-го полка лейтенант Яков Коломиец. Были вскрыты склады, людей вооружили винтовками, автоматами, гранатами, а на втором этаже казармы установили четырёхствольный зенитный пулемёт, который теперь мог держать под обстрелом вход в центральный двор «подковы».