Loss püstitati keskaegse XIV-XV sajandist pärineva vasall-linnuse varemeile. Kuigi Kiltsis oli väike, ilma sisehoovita linnus, oli tema XVI sajandi sõjaliste sündmustega märkimisväärne. Suurim kokkupõrge toimus siin Liivi sõja ajal 1558. aasta talvel Liivi ordu ja Vene väesalkade vahel. Tolleaegne Kiltsi omanik Robrecht von Gilsen kandis tõhusat vastupanu. Liivi sõja lõpuks oli linnus varemetes ja 1600. aastal ei mainitud teda enam kindlustatud kohana. Gilsenite suguvõsa andis paigale Kiltsi saksapärase rööpnime GILSENHOF.
XVII sajandil oli Kiltsi Asserinide valduses, seejärel kuulus mõis Uexküllide, Zoegade, Manteuffelite ja Rosenite perekonnale.1784. aastal omandas Kiltsi mõisa major Hermann Johann von Benckendorff. Asuti vanu linnusemüüre kokku sobitama uue varaklassitsistlikus stiilis ehitava mõisahoonega. Lossi esifassaadi kaunistab tänagi Benckendorffide perekonnavapp. Peahoone valmis 1790-ndatel aastatel, ent härrastemajale jäi kunagisele linnusele viitav raskepärane arhitektuur, mida leevendati kahe poolkaarekujulise tiibhoonega.
Aja- ja kultuuriloos on Kiltsi lossil, mis aastail 1816-1846 kuulus meresõijtale ja õpetlasele Adam Johann von KRUSENSTERNILE (1770-1846), eriline koht. Admiral suri Kiltsis 1846. aastal, tema põrm sängitati tsaar Nikolai I erikäsu kohaselt Tallinna Toomkirikusse. Krusensternidele kuulus mõis käesoleva sajandi alguseni. Perekonna matmispaik asub Väike-Maarja kirikuaias.
1920. aastast alates asub lossis kool. Tänu sellele on ajalooline hoone säilinud. 1993. aaastal asutasid Kiltsi Põhikooli õpetajad Adam Johann von Krusensterni nimelise Mittetulundusühingu, mille eesmärgiks on oma tegevusega kaasa aidata lossi renoveerimisele, mõisaansambli arendamisele ja admiral Krusensterni mälestuse jäädvustamisele Kiltsis. MTÜ motoks on admirali isiklikult vapilt laenatud ladinakeelne sõnapaar SPE FRETUS – LOOTUSELE TUGINEDES.
.