Tokong ini telah dibina oleh penganut-penganut Buddha di Lipis pada tahun 1898 diketuai oleh Kapitan dari keturunan Ong. Kedudukan tokong ini yang menghadap Sungai Jelai dipercayai bertujuan untuk menjaga keselamatan nelayan.
Berhala yang berada di dalam tokong ini telah dibawa dari negeri China. Di dalam tokong ini juga terdapat sebuah batu yang diukir mengenai sejarah tokong Thean Hou.
Pada tahun 1926, banjir besar telah berlaku mengakibatkan sebahagian daripada tokong ini rosak teruk. Oleh kerana itu, tokong ini telah dibina semula menggunakan struktur konkrit dan dipantau oleh penguasa tempatan pada ketika itu.
Kedudukan tokong ini yang berada di tengah-tengah pekan Kuala Lipis telah menjadikan ia satu tarikan kepada para pelancong tempatan mahupun pelancong luar negeri.