В 1710 году для замка настали другие времена. Выборг пал под натиском войск Петра 1 и стал пограничной российской крепостью. Как и прежде он оставался центром административного управления краем, но уже в составе Российской империи. Некогда грозная твердыня, он стоял с разбитыми окнами, разрушенными стенами и башнями. Персонал губернской канцелярии, опасаясь обвалов, настаивал на переезде в город. С возведением с западной стороны мощных Аннинских укреплений в 1730-40 годах, замок утрачивает своё оборонное значение.
Несмотря на разрушение некоторых строений замка в ходе осады и обстрела Выборга войсками Петра I, сноса части повреждённых зданий и ремонта других, сложившийся в средние века и в период реконструкции XVI-XVII веков внешний облик замка почти не изменился.
После взятия Выборга в 1710 году в помещениях Дома наместника останавливался Пётр I, поэтому до 1740-х году дом называли Государевым. В 1744 году в доме была размешена губернская канцелярия. В конце XVIII века на первом этаже находились арестанты, хранились запасы казенных вин, на втором этаже — присутствие военного суда и "ордонансгауз" (комендантское управление). В конце XIX века комендантское управление заняло весь дом, и он стал называться Комендантским.
В 1811 году Выборгская губерния была воссоединена с Великим княжеством Финляндским, вошедшим в состав России после войны со Швецией 1808-1809 годов и получившим права автономии. Положение же замка осталось прежним. Он продолжал находиться в ведении российских военных властей.
В помещениях замка располагались артиллерийские склады, военный архив, провиантские магазины, тюрьма для гражданских лиц и камеры для арестантов военного ведомства.
До середины XIX века интерьеры замка еще сохраняли свои средневековые черты в виде сводчатых потолков, оконных проемов со скамьями, стен с образцами кирпичной кладки и росписями. Но большая часть этого была утрачена в ходе восстановительных работ 1891-94 годов. Причиной этих работ стали пожары, и особенно второй, происшедший в 1856 году.
Пожар 1834 года произошёл от того, что во флагшток Башни св. Олафа ударила молния, от огня которой сгорели деревянные перекрытия башни. Десять лет спустя башню отремонтировали.
Еще более разрушительный пожар, произошел 26 августа (7 сентября) 1856 года. Во время торжеств по случаю открытия Сайменского канала от огней фейерверка загорелся купол Башни св. Олафа. С башни огонь перекинулся на стоящие рядом здания. Замок пылал как один большой костер. Уцелели лишь удаленные от Главной башни постройки: Комендантский дом и здания Переднего двора.
Восстановление и реконструкция замка были проведены в 1891-94 годах российским Военно-инженерным ведомством под руководством инженер-полковника Э. Лезедова. Внешние очертания замка почти не изменились, но внутренняя планировка его помещений была изменена: стрельчатые и полуциркульные своды были заменены балочными перекрытиями, появились новые оконные проёмы, но уже без средневековых каменных скамеек в нишах, другие уровни этажей и стены без каминов и очагов. У входа в башню было построено гранитное крыльцо, а внутри башни — металлическая лестница для подъема на смотровую площадку. В таком виде замок дошёл до наших дней.
* * *