Qua vườn tháp Hòn Ngọc, đi tiếp khoảng 300m, đường dốc đứng được xếp đá chắc chắn là lên sân của vườn tháp Tổ. Đây là vườn tháp trung tâm của toàn bộ khu di tích Yên Tử, giữa vườn là tháp Huệ Quang, nơi đặt xá lỵ của Đức Điều Ngự Giác Hoàng Trúc Lâm đệ nhất tổ, quanh tháp Huệ Quang có tường xây bằng gạch, lợp bằng ngói mũi hài thời Trần. Hiện nay, vườn tháp còn lại 64 ngọn tháp và mộ.