Byggnaden riskerar att rivas till förmån för bostäder.