Det så kallade ”Slottet” på Storholmen utanför Lidingö hotas av rivning.