Эскизный проект разрабатывался под руководством С.В. Ильюшина, непосредственно же разработка Ил-38 велась в отделе, возглавлявшемся В.М. Германовым. Главным конструктором Ил-38 был Р.П. Папковский.

Несмотря на схожесть машины с пассажирским лайнером, ее компоновка существенно отличалась от предшественника. Прежде всего самолету противолодочной обороны не требовался такой большой герметичный отсек, как на Ил-18. С другой стороны, поисково-прицельную систему «Беркут» с ее огромной антенной, чтобы не растягивать коммуникации, желательно было разместить поближе к операторам, наблюдавшим за надводной и подводной обстановкой в районах патрулирования.

Ил-38 в разведывательном полете

Исходя из этого весь экипаж (два летчика, штурман-навигатор, два оператора радиолокационной станции и приемного индикаторного устройства СПИУ, бортинженер и бортрадист) разместили в герметичном отсеке объемом 28 м^>3 в носовой части фюзеляжа, доходившем до 10-го шпангоута. В кабине операторов, примыкавшей к пилотской, расположили также навигационную и радиотехническую аппаратуру, буфет, кровать, туалет, переносной кислородный прибор и огнетушитель. В состав аварийно-спасательного оборудования включили плот ПСН-2 и морские спасательные костюмы летчиков МСК.

Под герметичным отсеком – антенну РЛС, входившей в состав «Беркута», а для защиты ее обтекателя от повреждения посторонними предметами при разбеге и пробеге за колесами передней опоры шасси установили щиток.

Поскольку машина военная, то для сокращения времени посадки и высадки экипажа вместо боковых дверей на Ил-38 предусмотрели нижний люк и дверь, а для аварийного покидания сделали специальную шахту. Верхний люк предназначен для аварийного покидания машины в случае ее посадки на воду.

Проводку управления рулями высоты и направления дублировали и разнесли по бортам машины. что увеличивало ее живучесть в бою.

Такая компоновка фюзеляжа привела к смещению центра тяжести самолета вперед. Для компенсации крыло с силовой установкой сдвинули ближе к носовой части на три метра. Из-за этого уровень шума в кабине экипаж возрос до 118 дб, что на 28 дб превышало норму в соответствии с общетехническими требованиями ВВС. Чтобы при сбросе боевой нагрузки (средств поиска и поражения подводных лодок) сохранялся необходимый запас продольной устойчивости, с обеих сторон центроплана крыла оборудовали негерметичные грузовые отсеки. В них поддерживалась постоянная температура.

Основным средством поиска подводных лодок в погруженном положении в то время были радиогидроакустические буи: пассивные ненаправленного действия РГБ-1, пассивные направленные РГБ-2 и пассивно-активные РГБ-3. Эти буи выставлялись в районе нахождения подводной лодки и вдоль маршрута ее следования.

Чаще всего использовали буи РГБ-1, которые не только транслировали информацию об акустических шумах, но и служили для определения их местоположения относительно самолета на удалении до 60 км. Буи РГБ-2 предназначались для пеленгования подводной лодки с точностью до 3–4 градусов, а РГБ-3 – уточнения местоположение субмарины и определения параметров ее движения.