Świadectwem dawnej świetności Łowicza są ruiny zamku prymasowskiego zbudowanego w XIV wieku między miastem a rozlewiskami Bzury. Według relacji Janka z Czarnkowa pierwotnie była to budowla drewniana, której murowany, gotycki kształt nadał arcybiskup Jarosław Bogoria ze Skotnik.

Po ustanowieniu Łowicza siedzibą arcybiskupa przez Wojciecha Jastrzębca (w 1433 roku) zamek był rozbudowywany i upiększany - dzięki inspiracjom Jana Łaskiego w XVI wieku posiadał wczesnorenesansowy charakter. Zachowane ryciny przedstawiają rezydencję prymasowską jako budowlę obronną, składającą się z dwóch równolegle ustawionych budynków połączonych wieżą bramną.

Pierwszy tzw. Zamek Wysoki stanowił właściwą siedzibę pierwszej po królu osoby w Rzeczypospolitej. Znajdowała się tu sala reprezentacyjna zwana Salą Królewska, której ściany zdobiły, opatrzone inskrypcjami, portrety królów i książąt polskich oraz arcybiskupów gnieźnieńskich. Inne sale były bogato zdobione polichromiami o tematyce historycznej i wyposażane w ozdobne kominki i piece. Uwagę zwracała prywatna kaplica prymasa, ze złotym stropem i bogato rzeźbioną kamieniarką.

Zamek Niski zawierał głównie pomieszczenia mieszkalne, wśród których wyróżniała się kaplica zdobiona herbami Krzyckiego (Kotwicz) i tzw. wielka sala na użytek licznego dworu. Największe zmiany dokonał w nim prymas Jakub Uchański herbu Radwan, który w obrębie zamku niskiego wzniósł "olśniewający wystawnością, renesansowy pałac" z arkadową fasadą, rozbudował pomieszczenia gospodarcze usuwając wszystkie drewniane pozostałości. Zatroszczył się również o wzmocnienie obronności: nadbudował mury obronne, pogłębił i poszerzył fosy. Za jego czasów powstała potężna basteja artyleryjska oraz renesansowy ogród kwaterowy, do którego można było przejść drogą przez groblę, albo przez jeden z trzech mostów.

Historycy podkreślają, iż zamek w ówczesnym kształcie był okazałą budowlą, otoczoną rozbudowanym systemem fortyfikacji, którą kolejni rezydenci wzbogacali znakomitym wyposażeniem. Między innymi Wawrzyniec Gębicki herbu Nałęcz urządził tzw. ganek dla muzyki, a nad nim pomieszczenie dla biblioteki. Jego następca, Henryk Firlej herbu Lewart, ufundował nowy ołtarz dla kaplicy, a wnętrza zamkowe wyposażył w zielone piece, ozdobne rozety itp. Jan Wężyk herbu Wąż nadbudował główną bramę wjazdową z zegarem, sprowadził piec gdański, a w ogrodzie wystawił budynek z łaźnią, trzema pokojami wypoczynkowymi i tarasem. Wprowadził również zwyczaj odbywania przejażdżek po wodach Bzury dzięki zakupieniu ozdobnej łodzi - nazywanej bat.

Stupięćdziesięcioletni okres renesansowego zamku łowickiego, od form najwcześniejszych po manieryzm (maszkarony, płaskorzeźby itp.) to lata największego rozkwitu.

W czasie "potopu" na zamku kwaterowały wojska Karola Gustawa. W związku z nasilającą się wojną partyzancką Szwedzi wzmocnili zamkowe fortyfikacje - od strony południowej wybudowali tzw. rawelin (zewnętrzną osłonę). Mimo prób odbicia do 1657 roku pozostał on w rękach Szwedów, którzy odchodząc część spalili, część wysadzili w powietrze.

Prymasi: Mikołaj Prażmowski, Teodor Potocki i Adam Ignacy Komorowski próbowali przywrócić mu dawną świetność, ale przeszkodziła temu inicjatywa przeniesienia rezydencji do Skierniewic i Warszawy. Nieodwracalne straty spowodowali Rosjanie w czasie Konfederacji Barskiej co spowodowało, że w 1787 roku arcybiskup Michał Poniatowski adaptował pomieszczenia zamku na fabrykę płótna. Spowodowało to dewastację obiektu i jego konfiskatę na rzecz rządu pruskiego. Jego decyzją rozpoczęto rozbiórkę zamku (wstrzymaną w 1871 roku) w wyniku której cenne lapidaria przeniesiono do zespołu architektonicznego gen. Stanisław Klickiego. Wcześniej wiele detali architektonicznych znalazło miejsce w Arkadii, Skierniewicach i Łyszkowicach.

W latach 1914-1918 na zamku był cmentarz wojskowy. W dwudziestoleciu międzywojennym prowadzono tam intensywne badania archeologiczne, kontynuowane również po drugiej wojnie światowej.

Obecnie jest to własność prywatna i tylko w archiwaliach możemy odnaleźć ślady świetności łowickiego zamku i potwierdzenia bytności tam wybitnych przedstawicieli nauki i sztuki, wysłanników papieskich, a nawet królów.