Op 23 juli 1500 gaf aartshertog Filips de Schone de toelating aan de beenhouwersgilde om een nieuw Vleeshuis te bouwen en in november 1500 startten de sloopwerken. Het nieuwe Vleeshuis was en is nog steeds een van de imposantste gildenhuizen van de stad en een van de fraaiste vleeshuizen in ons land. nNa een aantal mislukte pogingen, slaagde het stadsbestuur er via een tactisch manoeuvre in om in 1899 het gebouw aan te kopen, met de bedoeling er het stadsarchief onder te brengen. Het gebouw werd gerestaureerd en ingericht door stadsarchitect Alexis Van Mechelen. Ondertussen was beslist er het museum voor oudheidkunde onder te brengen, dat in 1913 zijn deuren kon openen. Maar voor schepen voor Schone Kunsten en kunstchilder Frans Van Kuyck, de drijvende kracht achter de aankoop en de restauratie van het Vleeshuis, was het ideaal nog niet bereikt. Ook de buurt moest grondig onder handen genomen worden en verfraaid tot een passend 'oud Antwerps' decor waarin Steen en Vleeshuis konden schitteren.nAl bij de rechttrekking van de Scheldekaaien vanaf 1877 was het oudste deel van de stad reeds gesloopt: meer dan 600 hoofdzakelijk middeleeuwse huizen, flinke stukken van de eerste stadsmuur en de laatste resten van de Sint-Walburgiskerk. Het Steen werd ternauwernood gered, het Vleeshuis bleef verweesd achter tegen de resten van de stadsmuur die langs de Burchtgracht liep. Voor de vrijmaking van het Vleeshuis, naar de wensen van Van Kuyck, zou opnieuw een flink deel van de stadsmuur sneuvelen en werd het pakhuis de Gans opgeofferd. Eens gerenommeerd voor haar chique maisons galantes was de buurt verworden tot een uitgeleefde volkswijk. Onder het mom van de V-bombardementen na WOII en gestimuleerd door de wetgeving in verband met krotopruiming, maakte het stadsbestuur grondig werk van de sanering. Quasi alles wat er nog restte van de oude stad werd onder luid protest gesloopt. Niet alles werd echter heropgebouwd, omdat de opvattingen rond monumentenzorg ondertussen waren gewijzigd en men ook in Antwerpen inzag dat de oude huizen beter ter plaatse konden bewaard worden.