Hòn Ngọc xưa kia tương truyền là nơi hàng năm khi Hoàng Đế Trần Anh Tông lên vấn an vua cha Trần Nhân Tông ngài thường cho dừng lại ở đây và tiếp tục đi bộ lên chùa nên gọi là dốc Voi Quỳ.
Cạnh dốc voi quỳ là khu tháp Hòn Ngọc, đây là một gò đất khá rộng, bằng phẳng, ở độ cao 400m so với mặt nước biển, ở độ cao này gió đông nam thổi lồng lộng, phong cảnh tuyệt đẹp. Trên Hòn Ngọc là cụm tháp của những nhà sư tu hành ở đây từ cuối Lê cho đến đầu thời Nguyễn, gồm: 4 ngọn tháp đá và gạch, ba ngọn tháp đá còn tương đối nguyên vẹn và một ngọn tháp gạch, ngoài ra còn có năm ngôi mộ của các nhà sư tu hành tại Yên Tử không rõ tên.
