Vào thời Thượng hoàng Trần Nhân Tông lên Yên Tử tu hành chưa có chùa, ở đó chỉ có một hòn đá vuông phẳng thật lớn, ở độ cao 1.068m so với mực nước biển, là đỉnh cao nhất của dãy núi Yên Tử, phía sau là vách núi dựng đứng thuộc địa phận tỉnh Bắc Giang, Ngài đã chọn nơi đây làm nơi tĩnh thiền. Vào thời Lê (1428 - 1527) chùa được bà vợ chúa Trịnh công đức xây dựng, toàn bộ kết cấu kiến trúc cũng như đồ thờ tự trong chùa đều được tạo tác bằng đồng, để phù hợp với không khí ẩm ướt quanh năm ở nơi đây. Song do sự khắc nghiệt của thiên nhiên nên chùa bị hư hỏng và đã trải qua nhiều lần trùng tu, năm 2007 chùa được xây dựng lại như ngày nay.
