L’estrella nord-americana va conèixer l’encant d’aquest petit poble de la Costa Brava, on va rodar, el 1950, la pel·lícula Pandora i l’holandès errant, amb James Mason, que era la seva parella en aquell moment. Va dirigir la pel·lícula el cineasta Albert Lewin, guanyador d’un Oscar al millor guió per El retrat de Dorian Gray (1945).

A partir de llavors, Gardner va tornar a Tossa diverses vegades i, fins i tot, es va fer construir una casa a la platja des Codolar, les ruïnes de la qual encara es conserven. A més de la proximitat a Barcelona, val a dir que, en aquella època, Tossa oferia molta intimitat i discreció a celebritats com Ava Gardner o Frank Sinatra. Per arribar a la platja de Tossa calia pujar i baixar unes escales ben costerudes. Quantes vegades ho devien fer? No ho sabrem mai. Tanmateix, el que sí que sabem és que la seva relació va durar fins al 1957.