Về truyền thuyết Núi Nhỏ mang tên gọi là Tao Phùng có câu chuyện: Vào thời xa xưa, công chúa con vua Thuỷ Tề hoá thành con cá vàng đi chơi không may sa vào lưới của người trai làng chài. Thấy cá đẹp, người con trai mang cá lên núi, khoét đá thành một vũng nước cho cá vào nuôi. Một hôm ở biển về, anh không thấy cá mà chỉ thấy núi đầy hoa trái, chim cá, đang còn bỡ ngỡ, bỗng từ trong núi thiếu nữ đi ra nói rõ sự tình. Từ đó họ thành vợ chồng. Cuộc sống đang đầm ấm yên vui thì một ngày kia đang tiết thu, trời trong mây nhẹ, hai vợ chồng đang ngồi ăn cơm thì thấy có người đi ở ngoài vào tay cầm hộp ngọc sáng chói. Thấy vậy người vợ bỗng hoảng hốt chưa kịp đứng dậy thì người khách đã đưa hộp ngọc ra, sấm chớp nổi lên và lập tức người vợ bị thu vào trong hộp ngọc. Người chồng đau đớn van xin cho vợ được tha, nhưng không được. Trong hộp người vợ đã biến thành con cá vàng hai mắt đẩm lệ nhìn ra.

Từ đó, cứ năm năm một lần cá vàng được ra gặp chồng. Núi Nhỏ là nơi gặp gỡ của cặp vợ chồng nên người đời gọi là núi Tao Phùng.

Theo đường vòng Núi Nhỏ (đường Hạ Long) chạy từ Bãi Trước qua Bãi Ô Quắn, Bãi Dứa, đến Mũi Nghinh Phong và ra Bãi Sau dài 6km. Đường mới, rộng, đẹp. Hai bên đường có nhiều điểm du lịch hấp dẫn như Bãi Trước, chùa Niết Bàn Tịnh Xá, Tượng Chúa Kitô, Hòn Bà.