С XVI века данный город превратился в важный культурный центр Литвы. Здесь была выпущена первая книга на литовском языке, и здесь жили значимые деятели литовской культуры, такие как Мартинас Мажвидас, Кристионас Донелайтис, Людвикас Реза и многие другие.
В 1701 году в кирхе Кёнигсбергского замка состоялась коронация первого короля Пруссии, родившегося здесь, Фридриха I.
Не позднее 1660 года в Кёнигсберге начала выходить своя газета, которая распространялась в Россию и включалась в обзоры европейской прессы, предназначенные для боярской думы и царя Алексея Михайловича.
Тройной город (Альтштадт, Лёбенихт и Кнайпхоф), на практике объединённый, но состоящий из трёх административно независимых частей, просуществовал до 1724 года.
В 1724 году три города, многочисленные посёлки, посады и предместья, а также замок, который до этого не входил ни в один из городов, а имел особый статус правительственной резиденции, были объединены в город Кёнигсберг.
В этом же году в Кёнигсберге родился Иммануил Кант (1724—1804) — самая известная личность, родившаяся в этом городе за всю его историю.
Во время семилетней войны, 11 (22) января 1758 года, русские войска вошли в Кёнигсберг. Жители города присягнули верность императрице Елизавете. После этого Фридрих Великий не посещал город до своей смерти. До 23 августа (3 сентября) 1762 года город принадлежал России и был центром образованного генерал-губернаторства Восточная Пруссия. После возвращён пруссии по условиям заключённого с ней российским императором Петром III Петербургского мирного договора.
В 1776 году в Кёнигсберге родился известный писатель Эрнст Теодор Амадей Гофман (1776—1822).