Được xây dựng từ thời Lý. Ban đầu là một am nhỏ, sau dựng thành chùa mái lợp bằng lá cây rừng gọi là chùa Vân Yên. Vân nghĩa là mây, Yên nghĩa là khói, chùa ở độ cao 600m nên những làn mây trắng mỏng bay qua trông như những làn khói nên gọi là Vân Yên.
Chùa tọa lạc trên lưng chừng núi, trong một địa thế hùng vĩ, là một ngôi chùa còn giữ lại ít nhiều dấu tích xưa, chùa được xây dựng trên một triền núi rộng thoai thoải, những người xây dựng đã dựa vào thế núi mà bạt thành hai cấp nền lớn có bó đá chắc chắn. Thời Lê khi vua Thánh Tông lên vãn cảnh chùa, thấy cảnh trí nơi đây tuyệt đẹp, trăm hoa đua nở, mây kết thành hoa, giăng trước cửa nên đổi tên thành chùa Hoa Yên.
