Не случайно именно в Россгартене проживало множество голландцев: этот пригород заложили специально для них. Территории, примыкавшие к замку, имели ярко выраженный сельский характер. Россгартен, по свидетельству Хеннебергера, до 1539 года не застраивался; за исключением трактира и нескольких амбаров, здесь ничего не было. Начиная с 1540 года, герцог приступил к планомерной застройке пригорода, который сначала назывался «Нойе Хубен», а позднее получил название Россгартен. Участок за участком герцог отдавал придворной прислуге и свободным мастерам за воротами Кройцтор, разделявшими Россгартен и свободные земли замка. Уже в 1542. году он смог основать новую слободу, дав ей устав. Примерно в 1550 году в Кёнигсберг переселились сыромятники, принёсшие более тонкий способ дубления кож. Они поселились на склоне, тянувшемся от Россгартена к пруду Шлосстайх, и жили под герцогским покровительством. Их ремесло требовало много воды. Поэтому дубильни построили у пруда. Улица сыромятников Вайсгерберштрассе названа в их честь. Лишь после сооружения моста через пруд Шлосстайх в 1753 году она стала магистральной. В 1556 году Россгартен получил устав общины, а в 1576 году — печать с изображением белого коня, пасущегося на зелёной траве.

Значительно ниже голландцев в социальной структуре находились шотландцы. В качестве старьёвщиков, мелких торговцев и разносчиков они уже во времена Ордена давали в Пруссии повод для многочисленных инструкций. Шотландцы стали проникать в низшие слои населения Кёнигсберга, их презирали, питали к ним недоверие, но вынужденно терпели. Так как им не разрешалось покупать дома, то жили они в каморках и подвалах, поэтому их называли ещё «подвальными шотландцами». Если они продавали с лотка или вразнос, то их называли «пауделыноттен», т.е. шотландцы-коробейники. Эти люди, всеми презираемые и подозреваемые в ереси, держались особенно сплочённо.　

Улицы Кёнигсберга в эпоху герцога Альбрехта были, вероятно, такими же, как и столетием раньше. Но кроме восточного крыла замка и университета, в то время появилось много других зданий. Одни только разрушительные городские пожары вынуждали много строить. В 1539 году сгорели пригород Закхайм, его центральная площадь и дома у рынка Россгертер Маркт. Пожар перекинулся даже через пруд Шлосстайх на пригород Трагхайм. В 1544 году пожар уничтожил лавки около собора, и бушующее пламя поглотило и деревянные части его двух башен. Позже они были по чертежу придворного столяра Ханса Вагнера заново отстроены и пребывали в этой форме до 1944 года. Южная башня имела двенадцатиугольную надстройку под заострённой крышей, северная — обыкновенный фронтон.　

Альтштадт являлся настолько состоятельным городом, что мог позволить себе построить или модернизировать три общественных здания. Ратушу украсили в 1528 году двумя деталями, отвечающими вкусам эпохи: на одной башне — астрономические часы, на другой красовалась бородатая голова с короной. Когда каждый час раздавался бой часов, из головы высовывался язык. Ратушу в 1754 году из-за ветхости снесли. Альтштадтский юнкерхоф в 1544 году отстроили заново. В 1539 году значительно расширили и снабдили сводом Альтштадтскую церковь.