1895年，日治時期開始，由於熱蘭遮城已荒廢，僅存南面城壁，1896年，日本政府乃就廢址加以整理，以磚砌成今之現狀，而在城上建蓋日式住房，作為海關官長公館，並在城下四周築職員宿舍數棟。

此時，日人改稱熱蘭遮城為荷蘭城，而不稱王城或台灣城。1930年4月30日，為準備10月所舉行台灣文化三百年紀念大典，乃拆除官舍，城下宿舍亦一併拆除悉夷為空地。而在城上改建新式洋樓，以供展覽場所並且接待外賓，即今日安平古堡之展覽館。