Chùa Hải Tạng là công trình kiến trúc tôn giáo tín ngưỡng thờ Phật kết hợp với thờ thánh thần nhằm đáp ứng nhu cầu tín ngưỡng của ngư dân trên đảo Cù Lao Chàm và cho các thương thuyền ghé vào hành lễ cúng Phật với cầu mong được phù hộ trên con đường làm ăn, buôn bán.
Chùa được xây vào năm Cảnh Hưng thứ 19 (1758) ở vị trí cách vị trí hiện tại khoảng 200m về hướng Bắc. Sau do bão làm hư hại nặng nề nên để thuận tiện cho các tín đồ hành lễ nên Chùa được dời về vị trí hiện tại và được xây dựng khang trang hơn.
Việc xây Chùa gắn liền với truyền thuyết các cây cột được làm từ ngoài Bắc chuyển bằng tàu thủy về phía Nam nhưng khi đến Cù Lao Chàm thì trời tối nên phải neo nghỉ. Ngày hôm sau, tàu đi tiếp nhưng biển bỗng dậy sóng, vần vũ khiến tàu không ra khơi được. Sau có người trong đoàn lên đảo cúng xin keo thì mới biết dàn cột này phải ở lại để dựng Chùa trên đảo, không được đem đi. Cũng vì thế mà Chùa xây xong lấy tên là Hải Tạng, Hải là biển, Tạng là kinh, ý nói Chùa là nơi hội tụ kinh tạng mênh mông như biển cả.