Valdorf je jednou z řady vsí, které vznikly v souvislosti se sklářskou výrobou. Místní sklářská huť byla založena 1696. Později se tato sklárna také nazývala Weisse Hütte, protože se v ní vyrábělo bílé tabulkové sklo. Nejstarší zmínky o vsi Valdorfu jsou z roku 1757 z tereziánského katastru. Podle tohoto pramenu ves vznikla kolem roku 1690. V roce 1757 bylo v osadě 14 domů lesních dělníků a sklářů. V roce 1839 v osadě stálo 19 domků, panská hájovna a žilo zde 161 lidí. V roce 1921 tvořilo osadu 27 domů, v nichž žilo 200 obyvatel (194 německé národnosti) a v roce 1930 28 domů se 176 obyvateli. Po druhé světové válce byli původní obyvatelé vyhnáni a ves zanikla.

Bývalá vesnice je dnes snadno lokalizovatelná podle mohutné lípy na křižovatce cest na někdejší návsi, za ní se v křoví ukrývají zbytky zdí bývalé školy. V severní části vsi jsou patrné staré ovocné stromy a zarostlé zbytky základových zdí. Jižní část byla zcela zničena při výstavbě hraničních zátarasů, které tudy byly nataženy v 70. letech.

Asi 300 metrů jv. v lese u silničky směrem na Pleš jsou zachovány zříceniny zámku. Postaven byl na konci 18. století jako lovecký zámeček Koců z Dobrše, původně jako přízemní kamenná stavba, ke které bylo v 19. století přistavěno dřevěné patro. Objekt byl příležitostně obýván až do roku 1945. Po válce údajně vyhořel a nebyl již obnoven. Dnes je patrný relikt vstupního objektu u silnice a zarostlé zříceniny obvodových zdí vlastního zámečku. Místo je dnes zalesněno, ale zbytky někdejší parkové úpravy jsou dodnes dobře patrné, zejména mezi silnicí a zámečkem.

Dnes vede územím bývalé obce cyklistická stezka a v místě osady se nachází cyklistické odpočívadlo.