Kamen temeljac za kasarnu u Krčagovu položio je 3. maja 1899. godine kralj Aleksandar Obrenović. Novac za izgradnju obezbedio je narod Okruga užički od poreza od 6% za vojne objekte. Za izgradnju kasarne zaslužan je bio komandant Drinske diviziske oblasti Dragomir Vučković, koji je od 1897. Vojni ministar. Monomentalna jednospratna zgrada kasarne Četvrtog pešadijskog puka “Stevan Nemanja” završena je i osvećena već sledeće 1900. godine. Naglašen joj je središnji rizalt iz masivnih bočnih krila.
Zgradu je projektovao arhitekta Dragutin Đorđević, koji je uradio fasadu u duhu akademizma sa orginalnim detaljima, koji su specifični i na njegovim drugim projektima. Posebnu pažnju je posvetio centralnom, istaknutom delu kasarne, gde je u atici, nad krovnim vencem, urađen u reljefu grb Kraljevine Srbije. Centralni heraldički motiv krsta sa ocilima bio je urađen i na drugim delovima fasade. Bio je interesantan i karakterističan motiv vojnog trofeja – oklop sa štitom i helbardama. Isti dekorativni detalji i heraldički simboli nalazili su se i na kasarni 7. u Beogradu, građenoj u isto vreme, prema projektu istog arhitekte.
Posle oslobođenja, kada je građena Titova Jugoslavija, 1945. godine ovi simboli su uništeni i zamenjeni slikanim grbovima FNRJ, a na krilima zgrade su urađene reljefne zvezde petokrake. Početkom devedesetih godina 20. veka i ovi simboli su uklonjeni…
Nakon “reformi”, pre uništavanja Vojske Srbije, kasarna je demiliterizovana i prodata užičkoj Opštini…
