Terdapat beberapa pendapat yang mengemukakan perihal keadaan asal tapak bangunan ini. Menurut En. Majid Abdullah, Ketua Kampung Mengkasar, pada masa dahulu tapak asal bangunan ini adalah hutan. Kawasan ini juga adalah sebahagian tapak sebuah istana yang pernah didirikan di sini pada masa dahulu iaitu Istana Kota Beram. Nama inilah yang diguna semula oleh baginda Sultan Abu Bakar kepada istana rasmi baginda semasa zaman pemerintahan tuanku. Istana Kota Beram ini telah lama ditinggalkan atau runtuh dan tapak ini kemudiannya ditumbuhi hutan.
Pada 24 Ogos 1888, British dengan rasminya campur tangan secara langsung dalam pentadbiran Negeri Pahang. British merasakan mereka memerlukan sebidang tanah untuk mendirikan tempat kediaman bagi para pegawainya yang bertugas di Negeri Pahang. Oleh itu, pihak British telah mendapat kebenaran daripada Almarhum Sultan Ahmad (Sultan Pahang yang pertama dari keturunan bendahara) iaitu sultan yang memerintah pada masa itu bagi mendirikan sebuah bangunan khas untuk tujuan tersebut. Ada pendapat yang mengatakan bahawa pihak British telah mengambil alih tanah untuk mendirikan bangunan tersebut daripada Hj. Mohd Noor, Cek Dolah Bera dan Tuan Hitam Menteri. Walau bagaimanapun, tidak ada maklumat sahih yang menyatakan bagaimana British Berjaya mendapatkan tanah untuk tapak bangunan tersebut. Sebaik sahaja Pahang menerima Residen Britishnya yang pertama iaitu J.P. Rodger, beliau telah mendiami bangunan kayu yang telah dibina tersebut sehingga 1898.
Pada 1929, bangunan kayu ini telah digantikan dengan bangunan batu. Ini kerana, Pekan sering mengalami banjir dan hal ini mengakibatkan kerosakan pada struktur bangunan kayu tersebut. Tiada sebarang maklumat bertulis yang menyatakan bilakah bangunan batu ini memulakan pembinaannya. Menurut Yang Berbahagia Dato’ Mokhtar (bekas Pengarah Lembaga Muzium Negeri Pahang), kapal yang sarat dengan bahan binaan dari Singapura untuk membina bangunan ini telah karam di perairan Pahang disebabkan oleh banjir besar yang melanda Pekan pada 1926. Ini bermakna, perancangan pembinaan bangunan batu ini mungkun telah dirancang lebih awal lagi iaitu lebih kurang pada 1925.
Bangunan kediaman Residen ini terletak di Pekan Baru, iaitu di sebelah kiri jika mudik ke hulu Sungai Parit. Kedudukan tapak ini dikatakan amat strategik kerana berhadapan dengan Sungai Pahang yang menjadi laluan perdagangan utama di Negeri Pahang pada masa dahulu. Atas faktor yang sama juga ia memudahkan bahan binaan diturunkan di tebing Sungai Parit serta hasil-hasil pertanian dan laut diangkut ke pasar. Mungkin terdapat beberapa sebab lain yang menguatkan lagi kenyataan ini, seperti kemudahan hubungannya dengan istana. Pada masa itu, bangunan ini berhampiran dengan Istana Kuning (kini tapak Makam Diraja) yang terletak di sebelah kanan Sungai Parit jika mudik ke hulu, selain memudahkan orang ramai untuk berurusan dengan Residen British.
Semasa Perang Dunia Kedua bangunan ini telah dijadikan sebagai markas pentadbiran Kampetai. Namun begitu, tiada sebarang maklumat lanjut mengenai keadaan bangunan ini semasa penjajahan Jepun. Apa yang pasti tiada perubahan yang dilakukan pada bahagian dalam bangunan ini tetapi pernah kakitangan muzium menjumpai peluru ‘machine-gun’ yang masih berangkai ditanam dalam tanah di sekeliling beberapa batang tiang di bawah bangunan ini ketika kerja-kerja menggali kabel elektrik dilakukan. Peluru yang dipercayai kepunyaan tentera British yang masih boleh digunakan itu dijumpai dalam jumlah yang agak banyak. Ia kemudiannya telah diserahkan kepada pihak polis Daerah Pekan.
Sebaik sahaja perang tamat, bangunan ini terus ditinggalkan begitu sahaja sehinggalah pada 1948, bangunan ini dengan rasminya diambil oleh Almarhum Sultan Abu Bakar untuk dijadikan istana rasminya, dengan nama Istana Kota Beram. Di Istana Kota Beram inilah Almarhum Sultan Abu Bakar mengadakan mesyuarat dan juga menyambut ulang tahun hari keputeraan baginda. Disebabkan ruang di dalam Istana Kota Beram ini terlalu sempit maka pada 1954, Kerajaan Negeri telah membina sebuah bangunan tambahan untuk dijadikan balai dan dikenali dengan nama Balai Rongseri. Almarhum Sultan Abu Bakar berangkat meninggalkan Istana Kota Beram setelah siapnya Istana Abu Bakar pada 1965.
KDYMM Sultan Pahang telah berkenan menjadikan Istana Kota Beram sebagai muzium negeri dan pada 17 Mac 1976 yang mana pejabat Lembaga Muzium Negeri Pahang telah dipindahkan dari Pejabat Setiausaha Kerajaan Negeri ke Istana Kota Beram. Setelah dijadikan muzium banyak pengubahsuaian dilakukan terutama di bahagian dalam untuk dijadikan galeri-galeri pameran.
