Od strony północno-wschodniej oddzielała go głęboka fosa. Była to najsilniejsza twierdza biskupia na Warmii. Warto wiedzieć, że w latach 1516-1521 mieszkał tutaj Mikołaj Kopernik, a 1520 dowodził on skuteczną obroną warowni. Od 1945 zamek stał się siedzibą Muzeum Mazurskiego, które dzisiaj nosi nazwę Muzeum Warmii i Mazur. Zbiory są bogate. Największa sala ekspozycyjna to dawny refektarz z finezyjnym sklepieniem kryształowym z 1520. Oprócz działalności wystawienniczej dużą popularnością cieszą się imprezy organizowane na zamku w ramach Olsztyńskiego Lata Artystycznego, jak również wieczory zamkowe i "Niedziele w Muzeum".
