Từ những thập kỷ 30 của thế kỷ XX, những nhà khảo cổ Pháp đã khám phá và khẳng định: khu vực núi Voi - Xuân Sơn là một di tích khảo cổ học. Nơi đây là một cái nôi của những người tiền sử và sơ sử. Những công cụ lao động của người cổ hiện nay được trưng bỳ tại Bảo tàng Núi Voi như: rìu đá, bôn đá, quả cân đá, bàn mài đá... Những vũ khí bằng đồng: giáo đồng, dao găm đồng... đã minh chứng cho một thời kỳ phát triển của văn hóa Đông Sơn ở núi Voi - Xuân Sơn. Thế kỷ thứ XVI, vương triều Mạc đã từng đóng binh, thiết lập và xây dựng căn cứ tiền tiêu lớn ở đây để bảo vệ vùng cửa ngõ Dương Kinh (Dương Kinh - Ngũ Đoan, quê hương nhà Mạc). Nhà Mạc đã cho xây cung điện, thành quách, đào sông, khơi lạch, tu tạo chùa chiền ở khu vực núi Voi. Tiếc rằng, những công trình này nay không còn nữa, chỉ lưu vết lại qua dấu tích tên một số địa danh như hang Chạn (bếp ăn), Đấu đong quân, kênh nhà Mạc, cung công chúa... Với vị trí hiểm yếu, thuận về tấn công, phòng thủ và lưu binh bảo toàn lực lượng, khi thực dân Pháp xâm lược nước ta, núi Voi trở thành căn cứ khởi nghĩa chống Pháp do Lãnh Tư, Cử Bình chỉ huy. Đặc biệt trong cuộc kháng chiến chống Pháp do Đảng lãnh đạo, núi Voi là cơ sở hoạt động của cơ quan đầu não Tỉnh ủy Kiến An, Huyện ủy An Lão và lực lượng vũ trang cách mạng, du kích địa phương. Trong thời kỳ kháng chiến chống đến quốc Nỹ, núi Voi là một trậ đại phòng không quan trọng bảo vệ cửa ngõ Tây Bắc Hải Phòng. Trung đội nữ du kích núi Voi đã bắn rơi máy bay Mỹ, thành tích đó đã được Bác Hồ gửi thư khen và tặng huy hiệu của Người. Cũng tại đây, Đại hội Đảng bộ Thành phố lần thứ hai (tháng 4/1968) đã thông qua nghị quyết động viện nhân dân Thành phố Cảng quyết tâm đánh bại mọi âm mưu và hành động xâm lược của đế quốc Mỹ, đánh bại cuộc chiến tranh phá hoại bằng không quân và hải quân cảu địch. Khu di tích - danh thắng núi Voi còn ghi dấuy nhiều địa chỉ đỏ, mãi mãi là niềm tự hào của Đảng bộ, chính quyền và nhân dân thành phố như hang Thành ủy, hang Huyện ủy, hang ông Vin, trận địa súng phòng không... và truyền thống "Du kích Núi Voi". Khu quần thể di tích, thắng cảnh núi Voi còn nổi tiếgn với các công trình kiến trúc văn hóa cổ từ lâu đã trở thành câu ca trong dân gian:"Chù Long Hoa bốn mùa thanh tịnhĐình Chi Lai trung chính sườn non"Tương truyền, chùa Long Hoa xây dựng từ thời nhà Lý (thế kỷ 11). Do chiến tranh phá hủy, ngày nay chùa không còn nữa. Song tên tuổi và vẻ đẹp u tịnh, cổ kính của nó vẫn lắng đọng và được truyền lại từ đời này qua đời khác.Đình Chi Lai hiện tại là công trình kiến trúc gỗ cổ không rõ năm xây dựng. Đình thờ Cao Sơn Đại Vương, một bộ tướng tâm phúc của Hùng Duệ Vương (Vua Hùng thứ 18). bên cạnh đình Chi Lai, có ngôi chùa Chi Lai (tên chữ là Linh Sơn tự). Phần thượng điện của chùa có kết cấu kiến trúc khung gỗ làm vòa thế kỷ 19. Phần tiền đường chùa mới được phục dựng.Quần thể di tích núi Voi hiện nay có một số công trình phục vụ cho các du khách thăm quan, nghiên cứu đã được tu bổ, tôn tạo như động Họng Voi, đọng Nam Tào, Bắc Đẩu, Nhà bảo tàng... Khu vực núi đá, núi đất đã được phủ xanh bằng những rừng cây keo tai tượng sum suê, xanh tốt.

Hàng năm vào trung tuần tháng Giêng, lễ hội truyền thống núi Voi mở trong 3 ngày (15,16, 17). Khách đến lễ hội rất đông vui. Trong lễ hội, nhiều hoạt động văn hóa, thể thao được tổ chức, thỏa mãn một phần nhu cầu của khách thập phương. Tương lai, nếu được đầu tư xây dựng, nâng cấp thêm cho các di tích, công tình thể thao, văn hóa, chắc chắn quần thể di tích, thắng cảnh núi Voi - Xuân Sơn sẽ còn thu hút nhiều hơn nữa du khách tới tham quan.

                 (Theo "Hải Phòng Di tích - Danh thắng xếp hạng quốc gia")