橄欖以及橄欖油對希臘人來說不僅只是搬上餐桌的農產品或作物，而是具有多種獨特的象徵，並且與希臘以及地中海的身分認同有著密不可分的關係。因此橄欖除了可以吃、美容保養、醫療、照明、以及宗教用途外，在許多的神話故事、文學以及藝術作品中也可以看到它的蹤影。
在希臘神話中，最有名的一則就是當戰爭女神雅典娜以及海神波賽墩都想要成為雅典的守護神，因此展開了一場雙神鬥法。兩個神明必須要證明自己能夠造福這個城市，於是海神率先利用他著名的三叉戟敲開雅典衛城的大岩石，使鹽水從裂縫中流出（另一個說法為戰馬）；而雅典娜則是從她的長矛尖端生出一株橄欖枝葉，並使橄欖得以在雅典生長。聰明的雅典人選擇了橄欖並且將他們的城市以雅典娜命名。
 |
| 原位於雅典巴特農神廟的山牆雕飾 描繪的就是兩神之間的戰爭 |
此外在史詩【奧德賽】中（或稱為阿伊尼迷航記），特洛伊戰爭中的大英雄奧德賽利用從橄欖樹上砍下的木頭刺瞎了車輪眼巨人才得以與他的夥伴逃出；另一則有名的故事則是奧德賽利用橄欖樹作成新娘床並與橄欖樹墩連結，在經過二十年的顛沛流離後，他靠著這張床與他的妻子相認。
根據神話，許多的農業技術是由太陽神阿波羅以及水仙女席倫生的兒子阿里斯陶斯教導給人類，他是一個知名的養蜂專家，然而由於橄欖的利用價值是如此的高，所以他更因此發明了一套可以萃取橄欖汁液的系統。
神話中，宙斯的妻子要誘惑宙斯時總是不會忘記利用橄欖，在實際生活中，橄欖也被希臘人用在護髮、滋潤皮膚等等用途上。
在奧林匹克運動會上，贏得比賽的選手則會被戴上由橄欖的枝葉作成的冠，為作為勝利的象徵。
在希臘的一些地區甚至有類似中國製作【女兒紅】傳統，也就是在嬰兒出生之時就種下一株橄欖樹，伴隨著他以及整個家庭一起成長茁壯。唯一的不同是橄欖樹的壽命遠比人長，因此這些橄欖樹具有代代相傳的家庭意義。
在古希臘時代橄欖樹就被發現生長在愛琴海區域的岩坡上，而這些岩坡是其他種類的植物都無法生存的地方，而且橄欖樹的平均年齡為500歲，有的甚至可活到千年，即便將它砍倒在地它也會很快地回復生機，因此從遠古至今，希臘人都把橄欖視為堅忍或者是生命力的象徵。
