加沙城位于地中海沿岸的古代贸易和海上航线上，是一个沿海地带。在公元前13世纪左右，希伯来领袖约书亚曾率军占领此城，后又被米甸、非利士等民族夺取。大力士参孙的传奇故事及悲壮结局就发生在加沙。此后，加沙又相继纳入希伯来王国（列王纪上4章24节）、亚述帝国、埃及、波斯帝国等国的版图。公元前332年，加沙遭到亚历山大大帝的围攻，加沙人依靠坚固的城墙抵抗了5个多月，方才陷落。公元前61年，罗马人征服了此地。

据说最早建立加沙城的，是来自海上的非利士人，而“加沙”之名则源自闪米特语，意为“凶猛、强壮”。按照一些古籍记载，上古犹太勇士参孙因为贪图女色，被非利士人剪去了“力量之源”——头发后，便被囚禁于加沙的监狱之中推磨，受尽羞辱。参孙重获神力与非利士人同归于尽的结局，或许是古犹太人的美好想象，但横行海上的非利士人最终被强大的新亚述和新巴比伦两大帝国击败则是西方史学界的共识。