三浦半島の中部西側に位置し、海岸付近を除いては丘陵地が多い。

西は相模湾に面し、北は逗子市、東と南は横須賀市に接する。

地理的に湘南の最東端として挙げられることが多いが、地元では「葉山」としての独立したイメージを持つ人が多い。