Velike sile na konferenciji u Kandidži predhodne 1862. donose odluku da se tursko stanovništvo iseli iz Srbije i da se poruše utvrđenja Užice i Soko. U Užicu izbijaju neredi između srpskog i muslimanskog stanovništva, iste godine kad izbija veliki požar. Užička tvrđava je napuštena, topovi okrenuti prema varoši su onesposobljeni. Početkom 1863, na samom kraju zime, u Srbiju je stigla komisija „garantnih sila“ da sprovedu odluku iz Kandidže. Tako Užice stiže engleski komesar major Gordon, turski pukovnik Mehmed Ali-beg i ruski komesar general Tidebel, a sa srpske strane major Ranko Alimpić. Dočekao ih je okružni načelnik Pavle Đelmaš.
Članovi komisije su trebali da pregledaju rezultate posle miniranja utvrđenja. Užička tvrđava je sa spoljnim utvrđenjima potpuno razorena i onesposobljena kao vojni objekat. Komisija je u potpunosti bila zadovoljna. Njeno obrušavanje se nastavilo i kasnije. Podlokana vodom Đetinje, 1910. obrušila se i vodena kula koja je bila atrakcija u utvrđenju.
Godine 2017. užičko gradsko rukovotstvo nastavlja akciju koju je započeta još 1973. godine. Zavod za zaštitu spomenika kulture radio je konzervaciju do 80-ih godina. Izvodi se nastavak i revizija nekadašnjih radova, a usput nastavljaju na osmišljavanju dodatnih turističkih sadržaja sa Kusturicom, sa akademikom, arhitektom Branislavom Mitrovićem.
Radovi su podeljeni u tri faze. Prva je bila konzervacija gornjeg dela grada. U drugoj treba da se uradi ulazak na Stari grad i obave radovi na srednjem delu grada, a u trećoj fazi biće renovirana Vodena kula. Užičani žele da se izgradi Stari grad, žičara do vidikovca na Zabučju i uradi replika Kasapčića mosta i ponovo uvede Užice u društvo jačih turističkig gradova u Srbiji.
