Kulturní památky Vrbové Lhoty zastupuje kaplička sv. Václava z 19. století a secesní budova školy.

V obci najdeme neobvykle velký počet rybníků - celkem 4 rybníky, z toho dva slouží k výlovu ryb.

Ačkoliv se obce jmenuje Vrbová Lhota, v současnosti zde najdeme pouze jedinou velkou vrbu - před místním hřbitovem. Jedná se o mimořádně letitý strom, který pamatuje opravdu hodně.

Poblíž obce vede testovací železniční okruh, kde jsou zkoušeny vlakové soupravy.