Xuân Sơn là một xã miền núi của huyện Vạn Ninh, có ranh giới phía Đông giáp xã Vạn Lương, Vạn Hưng; phía Tây giáp xã Ninh Sơn, thị xã Ninh Hòa; phía Nam giáp xã Vạn Hưng; phía Bắc giáp xã Vạn Lương. Từ trung tâm xã Xuân Sơn đến trung tâm huyện Vạn Ninh khoảng 15 km về hướng Đông Bắc. 
Địa bàn xã được bao quanh bởi dãy núi Đá Đen, Hòn Chảo, Hòn Chùa, là xã không có vị trí giáp biển. Địa hình xã thấp dần từ Tây sang Đông, chủ yếu vùng núi, xen giữa đồng bằng. Vì thế, Xuân Sơn có vị trí ít thuận lợi hơn so với các xã khác trong phát triển kinh tế, chỉ phù hợp với các mô hình kinh tế nông nghiệp như trồng lúa, cây mía, cây bắp, cây mì, khoai lang; cây công nghiệp lâu năm như keo, điều,…