東神西町麓高倉山にあり、別名、龍王山竹生城とも高倉城ともいわれ、西に常楽寺川と東の九景川に挟まれた丘陵地にあり、石見国への西の要衝地で、城郭は山城で山頂から一の平（本丸と櫓）、二の平、三の平（館）となり、空堀をめぐらし、武家屋敷は麓谷、十楽寺あたりである。
城主は貞応２年（１２２３）小野高通公が鎌倉から下向して、地名を「氏」としたのが始まりで、代々神西三郎左衛門を名乗り、尼子氏の出雲十旗の１つであったが、天正６年（１５７８）に播磨国上月城で自害された、１２代の元通公まで３５０年続いた。居城跡に『神西城址』の記念碑とあずまやとがあり、毎年８月開催の『神西まつり』には”一夜城“が再現される。