Maga alá gyűrte a trauma a neves írót: nem bírta tovább a lelki gyötrelmet, szívszorító, amiről a búcsúlevelében vallott

1961-ben Gary hátat fordított a diplomata pályának, s ettől kezdve csak irodalmi tevékenységet folytatott. Sorra jelentek meg regényei, drámái és esszéi is; 1963-ban publikálta Magyarországon is legolvasottabb Lady L. című regényét, amelyből Sophia Loren és Paul Newman főszereplésével Peter Ustinov készített filmet.