接着，尼希米又重新修建耶路撒冷城墙，使城市又恢复了繁荣。此后600年间，犹太地先后是波斯、希腊和罗马的一个省份，耶路撒冷则是犹太省的首府。
在罗马统治的前期，曾委任代理王大希律王进行统治。大希律王在位时扩建了圣殿。公元6年，犹太地直接归属罗马统治。
公元70年，一次反抗罗马的起义失败后，罗马军队拆毁了圣殿。犹太人再次起义，最后在135年，罗马皇帝哈德良派兵包围并夺取了该市，作为惩罚措施，他下令在希伯来历埃波月rì，即耶路撒冷遭巴比伦和罗马军兵两次攻陷的周年记念rì，将耶路撒冷彻底铲平，在原址新建罗马城市爱利亚加比多连，圣殿山上另建罗马神庙，同时将所有犹太人赶出巴勒斯坦，禁止犹太人在耶路撒冷居住。
此后的5个世纪，该市一直在罗马帝国和拜占庭帝国的统治之下。4世纪，罗马帝国皇帝君士坦丁一世控制该市期间，耶路撒冷变成了一个基督教心，建造了圣墓教堂。
当时，虽然仍然禁止犹太人居住耶路撒冷，但他们已经开始在每年的埃波月rì来到西墙前哭泣。在罗马帝国分裂后的拜占庭帝国统治下，这座城市在基督教势力得到了很好的保护。当时在宗教方面相对宽容，从5世纪开始，犹太人重新被允许住在耶路撒冷。
当来自半岛的游牧民族崛起之后，阿拉伯帝国的第一个征服目标就是耶路撒冷。虽然《古兰经》从未提到过耶路撒冷，但伊斯兰传统认为，先知穆罕默德是在耶路撒冷升天，接受《古兰经》的。
已经走向衰落的拜占庭帝国，没能挡住阿拉伯的铁骑弯刀，这座圣城最终沦于阿拉伯人的手。
在历史上，关于耶路撒冷的争夺，从来都没有停止过，这座城市，也成为东西方碰撞的焦点。
历史上的公元1099年，第一次十字军东征，包围了耶路撒冷，一个多月后，耶路撒冷被十字军攻占，十字军进城后，屠杀了城内大多数穆斯林和犹太人。十字军在这里建立了耶路撒冷王国，穆斯林不准入城。
但是在公元1187年，埃及穆斯林君主萨拉丁又重新占领了耶路撒冷。1219年，大马士革的苏丹下令将城墙销毁，1228年，神圣罗马帝国皇帝腓特烈二世组织了第六次十字军东征，通过与埃及签定条约，得到耶路撒冷。1239年，他开始重建城墙，但不久它们又被拆毁。1243年，基督徒再次占领耶路撒冷，又重建城墙。1244年，被蒙古亡国的花剌子模在逃亡途占领耶路撒冷，教皇英诺森四世发动第七次十字军，但无法夺回耶路撒冷。1247年，花剌子模被埃及人驱逐，1260年，埃及奴隶骑兵夺取该城，耶路撒冷的犹太人不得不逃到周围的村庄避难。1482年，一个来此访问的多明我会教士说耶路撒冷是一个“几个不同的民族生活在此的城市，它是所有罪恶的集合”。作为罪恶他列举了撒拉逊人、希腊人、叙利亚人、东正教徒、景教徒、亚美尼亚人、格鲁吉亚人、玛洛尼教徒、贝督因人、刺客、回教徒和“最可憎的”犹太人。只有罗马天主教徒“在他们心盼望基督王子的到来，来将所有的国家纳入罗马教会的统治下。”
1517年，奥斯曼帝国占领耶路撒冷，他们控制该市，直到20世纪。这时，耶路撒冷重新开始繁荣，城墙和老城也被重建，城内任何宗教都可以存在，但奥斯曼帝国后来的无能统治机构使耶路撒冷的经济陷入了缓慢的衰退。
到19世纪初，耶路撒冷只有不足8000人口，但依然是一个对犹太教、基督教和伊斯兰教都很重要的城市。城市居民分四个部分：犹太人、基督徒、穆斯林和亚美尼亚人，穆斯林主要住在圣殿山附近，基督徒主要住在圣墓教堂附近，犹太人主要住在哭墙上方的山坡上，亚美尼亚人主要住在西南。
虽然这个分化并不绝对，但后来它是英国管理时期将城市分为四个区的基础。各大宗教内部又包括了许多教派，比如圣墓教堂同时归希腊东正教、罗马天主教、亚美尼亚教会、埃及教会和埃塞俄比亚教会使用，各教派之间互相冲突，以至于圣坛的钥匙要交给一个“立的”穆斯林家庭保管。
由于耶路撒冷对于犹太人、穆斯林和基督徒均具有特殊的重要意义，其地位问题直到杜睿穿越大唐的时候仍然悬而未决。
公元前前10世纪，大卫王在耶路撒冷建都，所罗门在该城建造圣殿。被毁前的耶路撒冷圣殿内的至圣所藏有约柜，是犹太教最神圣的所在，只有大祭司一人才有资格一年一次进入至圣所。此后，耶路撒冷一直是犹太民族的jīng神心，是犹太教信仰的心和最神圣的城市，民族身份的象征，犹太人无论流散到何处，全体男丁必须一年三次来到耶路撒冷，过宗教节rì，礼拜时总是面向耶路撒冷。在旧约圣经，耶路撒冷被提到过700多次。长期以来，耶路撒冷对于犹太人的向心作用，和犹太人对这座城市的迷恋程度是如此之强，以至于无法想象一个没有耶路撒冷的以sè列国。
基督教尊敬耶路撒冷，不仅是因为它在旧约扮演的角sè，也是因为它在耶稣一生的意义。根据圣经记载，耶稣在出生后不久就被带到耶路撒冷；后来他又洁净第二圣殿。耶稣最后晚餐的地址位于锡安山，紧靠大卫墓。耶路撒冷另一个重要的基督教遗迹是各各他，就是耶稣被钉十字架的地方。《圣经》称，耶稣去耶路撒冷仅仅是遵照上帝的旨意，为救赎世人之罪而死。但他死后复活，40天后升入天堂，重又回到了上帝的身旁。耶路撒冷是耶稣一生在最关键的时刻度过的地方。
对基督教来说，耶稣是上帝的儿子，是上帝赐予人类的救世主。耶稣被钉死的受难地，最后一次晚餐餐室、罗马皇帝君士坦丁一世之母海伦娜太后于公元335年巡游耶城时在耶稣墓地上建造的圣墓教堂等等，均是世界基督教徒心目的圣地。
自从7世纪起到1917年，伊斯兰教的阿拉伯帝国和奥斯曼帝国先后主宰耶路撒冷长达1000多年。作为穆罕默德夜行登霄的地点，相传伊斯兰教创始人穆罕默德52岁时，在一个夜晚被天使从梦唤醒，骑上一匹银灰sè人头牝马，追随天使从麦加来到耶路撒冷，脚登一块岩石，升上“七重天”。在接受“天启”后，于黎明返回麦加。
耶路撒冷被数以亿计的逊尼派穆斯林认为是第三圣地。耶路撒冷最显著的建筑物，就是圣殿山上的两座清真寺圆顶清真寺和阿克萨清真寺。穆斯林国家很久就已经将耶路撒冷看成是一个具有特别的宗教和历史意义的城市，绝不愿意放弃。
耶路撒冷在希伯莱语意为“和平之城”。但是这座城市自打建成之rì开始，就从来没有得到过真正的和平。
当初耶路撒冷是在希拉克略大帝的手里丢掉的，如今如果能在利奥三世的手夺回来的话，他无疑将在全世界的基督徒心的大英雄。
所以在经过最开始的惶恐不安，当利奥三世突然意识到自己有机会夺取这座城市的时候，那份巨大的荣耀，让利奥三世忘记了一切，准备放开手脚大干一番。
可以说整个拜占庭都因为有机会夺回这座城市而陷入了疯狂之，但是也有人能够在这个时候，保持足够的冷静，那就是阿戈斯蒂诺。
“尊贵的皇帝陛下，我们如此做，会不会惹得唐人不满？”
利奥三世闻言一皱眉，这确实是他最担心的地方，毕竟阿拉伯帝国是被大唐帝国击败的，如果现在拜占庭帝国要出兵的话，分明就是去抢夺胜利果实，本来就因为他们阻断大唐埃及方面军东进的道路，让唐人十分不满了，如果再因为这件事引起纠纷的话，会让拜占庭帝国十分被动。
不过荣耀的诱惑实在是太大了，利奥三世实在不想再去经历一次，君士坦丁堡被人围困，却没有一个国家愿意伸出援手的窘境。
“不！阿戈斯蒂诺公爵，你不要忘记了，我们和唐国并不是敌对国家，而且在反对阿拉伯异教徒的战争当，我们也是出了大力气的，如果不是我们在世界的西方牵制了阿拉伯人长达五十年的时间，唐人根本就没有机会走到今天这一步，我们现在不过是拿回失去的故土，即便是唐人也不应该说三道四！”
罗马人一向都自认为是世界上最为优秀的种族，虽然眼下的拜占庭帝国与罗马帝国全盛时期相比差得太远了，不过，拜占庭帝国仍是以罗马人自居，自以为他们继承了罗马帝国的荣光，他们自高自大惯了，如今甚至不愿意去面对衰落的现实，他们急于找回昔rì的荣耀。
而耶路撒冷无疑是一个最好的起点。
利奥三世这话说得，也不知道是为了说服阿戈斯蒂诺，还是为了说服自己，总之，他是相信了，也觉得大唐根本就没有道理来责问拜占庭帝国。
可就在此时，一个卫士跌跌撞撞的跑了进来，跪倒在大殿的央，脸上带着惊恐，好半天才说道：“皇帝陛下，唐人向南已经攻占阿拉伯人的圣城麦地那。”
利奥三世闻言就站了起来，脸上带着些许欢愉的神sè，道：“哦！唐人的攻击速度还真不慢，居然连麦地那都攻陷了，看起来我们也要加快进军速度了！”
可是那个卫士接下来的一句话，就把在场的所有人都惊呆了：“皇帝陛下！唐人在麦地那进行了大屠杀，麦地那城内数百万人被唐人屠杀一空，只有~~~~~~~只有~~~~~~~~”
屠杀数百万，利奥三世惊呆了，上前一步，急道：“只有什么？”
卫士低着头，显然是不想再去回忆他所见到的那可怕一幕，好半晌才道：“只有阿拉伯帝国哈里发叶齐德一世活了下来，成了唐军的俘虏！”
“上帝啊！”
“这不可能！”
惊呼声，质疑声在大殿上此起彼伏，一时间乱糟糟的，就好像到了菜市场一样。
利奥三世也被惊呆了，只有叶齐德一世活了下来，他知道唐人为什么会暂时饶