Efter en gennemgående istandsættelse i 1894 omfattede hovedhuset således: Fire værelser, en forstue, et køkken med åben skorsten, samt et brændehus. Halvtagsbygningen ved østgavlen blev kort efter opført til endnu et køkken, hvorpå det hele blev moderniseret og nyt bjælkelag indlagt i 1929 af Einer og Ella Jensen. I 1943 tilføjedes en tilbygning i vest som derefter kom til at rumme en imponerende antik- og våbensamling.
Omkring 1950 åbnede fru Ella Mauritzen “Ellas Konditori” i de gamle lokaler og yderligere en pavillon blev tilkøbt fra Sandlinien 1. Den store tagkvist, som vender ud mod gårdhaven blev opsat i 1966 og i 1975 fornyedes alle hovedhusets vinduer. I denne forbindelse overdrog fru Ella Mauritzen forretningen til sin datter, Kirsten Mortensen og svigersønnen Tommy Mortensen. En ny køkkenfløj i grundmur med paptag blev dernæst rejst i gården i 1977, indeholdende det varme køkken, kagekøkken, samt tjenergang. Kælderetagen blev samtidig indrettet til et stort bageri, med tilhørende kolonialvarelager og kølerum. Denne fløj blev tillige forbundet med huset mod Bækkestræde, idet bygningen blev købt sammen med Strandgade 42 i 1935: Huset blev oprindeligt opført i 1908 af kaptajn Johan C. Kofoed til cementfabrikation og anvendtes i 1920’erne til sodavandsbryggeri og -tapperi, bedre kendt som “Mineralvandsfabrikken Bornholm A/S”.
Ellas Konditori og Restauration blev i 1990 overtaget af restauratør og kok, Odd Malling Mortensen, som siden har drevet restauranten i dyb respekt for stedets traditioner og særprægede historie.