Камен темељац за касарну у Крчагову положио је 3. маја 1899. године краљ Александар Обреновић. Новац за изградњу обезбедио је народ Округа ужички од пореза од 6% за војне објекте. За изградњу касарне заслужан је био командант Дринске дивизиске области Драгомир Вучковић, који је од 1897. Војни министар. Мономентална једноспратна зграда касарне Четвртог пешадијског пука “Стеван Немања” завршена је и освећена већ следеће 1900. године. Наглашен јој је средишњи ризалт из масивних бочних крила.
Зграду је пројектовао архитекта Драгутин Ђорђевић, који је урадио фасаду у духу академизма са оргиналним детаљима, који су специфични и на његовим другим пројектима. Посебну пажњу је посветио централном, истакнутом делу касарне, где је у атици, над кровним венцем, урађен у рељефу грб Краљевине Србије. Централни хералдички мотив крста са оцилима био је урађен и на другим деловима фасаде. Био је интересантан и карактеристичан мотив војног трофеја – оклоп са штитом и хелбардама. Исти декоративни детаљи и хералдички симболи налазили су се и на касарни 7. у Београду, грађеној у исто време, према пројекту истог архитекте.
После ослобођења, када је грађена Титова Југославија, 1945. године ови симболи су уништени и замењени сликаним грбовима ФНРЈ, а на крилима зграде су урађене рељефне звезде петокраке. Почетком деведесетих година 20. века и ови симболи су уклоњени…
Након “реформи”, пре уништавања Војске Србије, касарна је демилитеризована и продата ужичкој Општини…
