Selon la légende, le cheval Bayard, monté par les 4 fils Aymon, aurait cassé le rocher en deux pour pouvoir fuir devant ses poursuivants... Son empreinte serait même gravée dans la roche...
Louis XIV a quant à lui élargit la brèche laissée par Bayard afin que ses troupes évacuent la ville plus rapidement. (Cela n'est par contre pas une légende)