Bangunan yang awalnya diperuntukan sebagai kediaman Gubernur Jenderal Hindia Belanda Gustaaf Willem Baron Van Imhoff, telah beberapa kali berubah fungsi.
Salah satunya pernah menjadi Akademi Angkatan Laut Belanda (karenanya disebut AAL tertua d Asia). Kemudian tahun 1851 saat berubah kepemilikan ke orang Cina, Kapitain Batavia Oey Liauw Kong gedung ini dicat merah seluruhnya. Pada tahun 1920 gedung ini berfungsi sebagai Bank sampai dengan tahun 1940. Akhirnya menjadi kantor dagang pengusaha Belanda yang bernama Jacobson Van Den Berg. Pada saat nasionalisasi perusahaan Belanda, Toko Merah jadi milik pemerintah.
***
