Výraznou a zdaleka viditelnou stavbou je místní kostel. Současná rozloha obce je pouze zlomkem rozlohy bývalé. Osídlení bylo značně rozptýlené a tvořily ho tři základní celky. Centrální část obce - Brand (Milíře) s kostelem; Flötz, situovaný na svahu severně od kostela a Gimberg (Zadní Milíře), založený asi 2 km jižně od kostela. Milíře byly poprvé zmiňovány v roce 1669. Sídlili zde, stejně jako v okolních vsích tzv. Waldhäuseln - „lesní domkáři". První usedlosti v Zadních Milířích vznikly mezi lety 1777 - 78. Základní kámen ke kostelu v Milířích byl položen v roce 1811, o dva roky později byla již svatyně sv. Petra a Pavla vysvěcena. V roce 1938 měly Milíře s Flötzem celkem 207 usedlostí a 1118 obyvatel. Dnes zde žije asi dvě stě obyvatel. Od roku 1993 zde funguje Domov pro osoby se zdravotním postižením Milíře, příspěvková organizace.
Před kostelem u bývalé fary se nachází malebný plácek s válečným pomníkem a starým kamenným křížem. Boží muka, pomníky a křížky, nacházející se na Milířích, zřejmě pochází z dílny kameníka Georga Böhma, který zde působil. Od kostela je na sever a východ krásná vyhlídka do údolí Mže, na přehradu Lučina a do údolí Lužního potoka směrem k Písařově Vesci. Místní část obce, Flötz, z větší části zanikla stejně jako převážná část objektů v Zadních Milířích.