Na začátku příběhu usedlosti stojí záliba Karla IV. ve vinné révě. Na motolských a břevnovských svazích rostly na jeho přání rozsáhlé vinice. V polovině 17. století byly zdejší polnosti a vinice majetkem barona Švihovského a od něj je koupil roku 1688 generál vachmistr hrabě Filip Ferdinand de la Crone, zjednodušeně Lacrone. Tak vzniklo i jeho lidové oslovení: Ladrone. Hrabě si vybudoval velké majetky, které sahaly až na jih k dnešní Plzeňské ulici a zahrnovaly i smíchovskou usedlost čp. 121, nazvanou po něm taktéž Ladronka. Existuje i druhá, nepříliš pravděpodobná verze výkladu názvu, a to od italského slova „ladron“ – lupič.
Na břevnovské pláni zbudoval hrabě zájezdní hostinec s hospodářskou usedlostí. Jeho vdova pak prodala na počátku 18. století Ladronku hraběti Volfu Pöttingovi z Persingu, velkopřevorovi z řádu maltézských rytířů (johanitů). Rozkvět hostince zajišťovala poloha při významné říšské silnici. Ještě před polovinou 18. století došlo k definitivnímu rozdělení břevnovské a smíchovské Ladronky. Od té doby měly usedlosti zcela odlišné osudy.
Obytná patrová barokní budova pochází zřejmě z 18. století. V 19. století, kdy patřila břevnovskému klášteru, byla v podstatě upravena do dnešní podoby. Nejvýznamnější je obytné stavení s vysokou valbovou střechou. Hlavní severní frontu průčelí dotvářel zastřešený vjezd do dvora, který musel být po 2. světové válce pro havarijní stav demolován. Celý komplex byl zbudován z kamene z blízkého lomu.
Ještě ve 2. polovině 19. století sloužila Ladronka jako zájezdní hostinec. Její prosperita však upadala. Definitivní krach hostince nastal poté, co se nová silnice Ladronce vyhnula. Tehdy se stala typickou zemědělskou usedlostí. V roce 1922 přešla do majetku města Prahy. Ve 30. letech 20. století byly hospodářské budovy upraveny na byty, po válce přešla usedlost do majetku OPBH Praha 6 a sídlil zde podnik Sady, lesy, zahradnictví. Budova ovšem počala značně chátrat ač byla od roku 1964 pod památkovou ochranou. V 80. letech 20. století byl vypracován projekt na obnovu Ladronky jako kulturního zařízení, včetně dostavby demolovaného průjezdu. Projekt se však nikdy neuskutečnil. V roce 1994 se do opuštěné Ladronky nastěhovali squatteři, které město nechalo před pěti lety vystěhovat.
Objekt byl hlavním městem svěřěn do péče městské části. která zajistila jeho rekonstrukci.