Sedan uppförandet av Vadstena Slott i mitten av 1500-talet har Slottsgatan utgjort en distinkt gräns mellan slottsträdgården och staden. Denna indelning som fortfarande är påtaglig är ett viktigt karaktärsdrag av stor betydelse för kulturmiljön. Genom historien har marken inom nuvarande Asylen 10 utgjort trädgård eller park, mestadels inhägnad och i offentlig ägo.