V období třicetileté války se počet obyvatelstva značně snížil. Po vysídlení Němců v r. 1948 se sem nastěhovali volyňští Češi. V r. 1939 měly Žebráky s přilehlými samotami 564 obyvatel, dnes jich zde žije okolo 90. Větší část chalup této vesnice slouží k rekreaci. V lukách nalevo od silnice do bývalého Pořejova je starý a téměř zaniklý židovský hřbitůvek, založený v polovině 18. století. Severozápadně od vesnice se nachází velký Žebrácký rybník.