Большую роль в разведывательной и диверсионной деятельности в тылу врага сыграли оперативные группы органов государственной безопасности, которые создавались под непосредственным руководством партийных и комсомольских органов. Через своих разведчиков, внедрившихся в разведывательные центры и школы противника, оперативные группы собирали сведения о фашистской разведке, их агентуре, методах их подрывной деятельности. В течение 1943 года оперативные группы передали органам военной контрразведки сведения более чем о 1260 агентах, переброшенных противником в соединения действующей Советской Армии для проведения разведывательной и подрывной деятельности.
Оперативные группы действовали в тесном контакте с военным командованием. Они осуществляли диверсии на путях сообщения противника: пускали под откос поезда с войсками, горючим и боеприпасами; дезорганизовали работу тыла противника, что содействовало боевым действиям советских войск. Например, в первых числах мая 1942 года группа подрывников из оперативного отряда «Неуловимые» уничтожила крупную нефтебазу противника, снабжавшую горючим немецко-фашистские войска на Калининском фронте. В результате этой смелой операции снабжение горючим вражеских войск на Калининском фронте было нарушено.
Оперативные группы в тылу врага проводили значительную работу по ограждению партизанских формирований от проникновения вражеских агентов, по разложению антисоветских воинских формирований, вели борьбу с подрывной деятельностью организаций буржуазных националистов.
Выполняя директивы партии и правительства, чекисты оказывали всемерную помощь республиканским, областным и районным комитетам партии в организации боевой деятельности партизанских отрядов и соединений на временно оккупированной территории страны. Так, с помощью действовавшей на территории Белоруссии оперативной группы «Местные» под командованием С. А. Ваупшасова было организовано 10 партизанских отрядов, которые затем выросли в партизанские бригады. За время боевой деятельности этого партизанского соединения в семи районах Белоруссии была восстановлена Советская власть. Партизаны пустили под откос 186 эшелонов с живой силой и техникой врага, уничтожили 32 цистерны с горючим, 11 автомашин, 69 танков, 28 орудий, 6 бронемашин. Они разгромили 16 полицейских участков, 31 волостную и одну городскую управу.
Оперативные группы органов государственной безопасности проводили большую работу и в оккупированных немецко-фашистскими войсками странах — Польше, Чехословакии, Австрии, а также на территории самой Германии.
На территории Чехословакии действовало около 30 оперативно-чекистских групп, которые взрывали коммуникации, средства связи и военные объекты гитлеровцев, освободили из плена много советских людей, а в 1944—1945 годах поддержали Словацкое и Пражское народные восстания.
Действуя в тылу врага, чекисты показывали пример стойкости, мужества и отваги. Против партизанского отряда под командованием капитана государственной безопасности В. А. Молодцова, обосновавшегося в катакомбах оккупированной Одессы, гитлеровцы бросили большие силы, применяли газы, отравляли воду в колодцах, замуровывали выходы из катакомб. Несмотря на невероятные трудности, отряд в течение семи месяцев 1941—1942 годов вел активные боевые действия против врага. Он собирал и передавал в Москву ценную разведывательную информацию, отвлекал на себя значительные силы противника, нанося ему большой урон.