小昆山位于上海松江區，屬松江西北境內，距城區約10.5公里處，地處松郡九峰之最南端，名列九峰之末。山高海拔54.3米，山勢陡峭，境內森林繁茂。周圍1.5公里，山體占地面積33.3公頃。

小昆山舊稱昆山，根據陸機詩“仿佛谷水陽，婉孌昆山陰”，以及潘尼贈陸機詩“昆山何有，有瑤有珉，穆穆伊人，南國之紀”，昆山得名當在西晉陸機、陸云之前。何時何因被改名？原來，唐天寶十載（751年）華亭縣建縣的當年，江蘇省昆山市原馬鞍山取名昆山，華亭縣的昆山因比改名前的馬鞍山小，故稱為“小昆山”。

俯瞰小昆山，有南北兩峰，南峰高于北峰，全山如8字狀覆盆，圓秀而潤，遠望又若臥牛，北峰形似臥牛之首，甚至還能找出狀如牛眼、牛鼻、牛鼻孔等泉眼、山巖，故俗名“牛頭山”。