2004年雅典夏季奥运会的故事始于1996年亚特兰大夏季奥运会，然后追溯到100多年前，再追溯到3000年前，然后回到雅典第二十八届奥运会的时代。当然，希腊人在奥林匹克历史和遗产中占有特殊地位，他们是1896年第一届“现代”奥林匹克运动会的东道主，并将这一事件命名为“古代奥运会”，这可以追溯到在奥林匹亚举行的“古代奥运会”。

在此背景下，雅典市申办了1996年奥运会，以庆祝现代奥林匹克运动一百周年。全希腊和世界大多数国家都相信1996年的百年奥运会将重返雅典。1990年9月18日，时任国际奥委会主席胡安·安东尼奥·萨马兰奇在东京宣布举办百年奥运会：“国际奥委会已将1996年奥运会授予雅典”。不幸的是，作为一名西班牙人，萨马兰奇的英语有点口齿不清，所以当雅典的欢呼声从心里传到嘴里时，萨马兰赫完成了这句话：“Ath lanta”。

1996年底亚特兰大奥运会后，雅典克服了失望，准备申办2004年奥运会，《国际先驱报》和《论坛报》的伊恩·汤姆森指出，“如今，国际奥委会不仅是奥林匹克理想的保护者，也是世界上最伟大的旅游运营商”，因此，国际奥委会对雅典1996年申办奥运会的看法是：“别管雅典卫城了。”告诉我们关于公共汽车、电脑、你有多少家酒店，以及每个人在业余时间会做什么。国际奥委会认为1996年申办奥运会过于依赖历史，没有注意申办的细节。1996年申办雅典奥运会的错误在于认为国际奥委会“必须奖励奥运会的创始人”；他们对希腊负有道义责任”（Poulios，2006）。

希腊总统科斯蒂斯·斯蒂芬诺普洛斯在2004年雅典奥运会申办过程中仍然认为情况就是这样，他在1996年11月表示：没有其他城市比雅典更急切地等待国际奥委会的决定。然而，我表达了对“1996年金色奥运会”的苦涩。我认为，如果我们的国家没有赢得这些奥运会，它就不应该再提交候选资格。

当然，这并不是一个特别微妙或深思熟虑的说法，但许多人对希腊和雅典表示同情，因为奥运会是3000年前希腊文化的重要组成部分。