Bangunan Residensi ini bina pada tahun 1922 di Bukit Residens, iaitu di puncak bukit tertinggi di Kuala Lipis, sebagai rumah kediaman Residen Inggeris. Penghuni pertama bangunan ini ialah Hugh Bangunan Residensi ini bina pada tahun 1922 di Bukit Residens, iaitu di puncak bukit tertinggi di Kuala Lipis, sebagai rumah kediaman Residen Inggeris. Penghuni pertama bangunan ini ialah Hugh Clifford, ‘Superintendent of Ulu Pahang’. Selepas beliau, Residen-residen Inggeris terus menduduki bangunan ini sehinggalah tercetusnya perang dunia kedua pada tahun 1942 hingga 1945. Pada tahun 1958 hingga tahun 1965 bangunan ini dijadikan sebagai Asrama Murid-Murid Lelaki Sekolah Clifford. Asrama Bukit Residens ini telah ditutup pada 31 Disember 1965. Rumah ini terbiar kosong sehingga ke tahun 1983 sebelum dijadikan Rumah Rehat Kerajaan. Pada 1 Disember 1985, Sudut Muzium Lipis telah diwujudkan di sini untuk mempamerkan bahan-bahan sejarah dan kebudayaan Daerah Kuala Lipis. Ianya juga merupakan Sudut Muzium pertama yang ditubuhkan di Negeri Pahang