Objekt Werichovy vily, dříve též zvaný Dobrovského domek nebo Engelova koželužna, má více než 450letou historii a úzce souvisí s historií ostrova Kampa, od nepaměti využívaného řemeslníky, kteří nutně ke své činnosti potřebují vodu – mlynáři, koželuhy, zahradníky, hrnčíři (hrnčířské trhy na Kampě se udržely až do 20. století). Později, po vybudování nejprve šlechtických zahrad, poté veřejného parku, začal ostrov sloužit také jako vyhledávané místo odpočinku.
Mezi nejstarší zprávy o objektech a zahradách na Kampě patří informace o Sovovském mlýně ze 14. století (dnes hlavní budova Musea Kampa); zprávy o založení prvních zahrad jsou z 15. století; většina domů pak byla postavena ve druhé polovině 16. století a na začátku století následujícího.
První zmínka o stavbě dnešní Werichovy vily pochází z roku 1580, minimálně od druhé čtvrtiny 17. století zde měl koželužnu Servác Engel, rodem z Flander, který byl za obranu Prahy proti Švédům povýšen v roce 1648 do šlechtického stavu s přídomkem z Engelsflussu.
Část zahrady s dnešní Werichovou vilou získal šlechtický rod Nosticů v roce 1725. Nosticové zrušili koželužnu, prostor obezdili a přičlenili jako zahradu k blízkému Nostickému paláci.