С 13 октября 1923 г. новым единоличным хозяином архипелага стал УСЛОН — Управление Соловецких лагерей особого назначения. В этот трагический период жизни Соловков на архипелаге единовременно находилось до 4–5 тысяч (в некоторые годы — до 20 тысяч) заключенных. Кроме того, в военном городке проживала охрана лагеря и вольнонаемные. Несмотря на то, что в «жилфонд» были превращены все постройки монастыря, включая культовые сооружения, помещений все равно не хватало. Во время эпидемии тифа был построен карантинный городок, состоявший из 4 бараков общей вместимостью 800 человек. Часть бараков карантинного поселка, располагавшегося в районе валунной бани, сохранилась до сих пор (д. 4 и 6 по ул. Северной). В этих аварийных зданиях и сегодня ютятся жители поселка.
До сих пор под жилье используются и лагерные бараки так называемого «рабочего поселка», построенного к югу от монастыря для обслуживавшего персонала СЛОНа (на ул. Заозерной). В одном из бараков работает магазин Районного Потребительского Общества, в другом находится кафе «Кают-компания». Под жилье приспособлено также и двухэтажное деревянное здание лагерного управления (д. 12 по ул. Заозерной), которое соловчане прозвали «Пентагоном». В настоящее время это здание, в лагерные времена бывшее гордостью «рабочего городка», представляет собой печальное зрелище — утрачена оригинальная башенка над домом, две квартиры выгорели после пожаров, много лет нечищеные туалеты прямого падения наглухо заколочены.
В связи с изменением лагерного режима и превращением СЛОНа в Соловецкую тюрьму Главного управления государственной безопасности НКВД в районе бывшего монастырского кирпичного завода, расположенного недалеко от поселка, в рекордные сроки (1938–39 гг.) было проведено строительство трехэтажной тюрьмы, по проекту архитекторов-заключенных братьев Минихов.