Cuando las naves berberiscas se dirigían a la costa española desde Argel, la silueta de Cullera en el golfo de Valencia era una invitación a dirigirse hacia ella, lo que justifica los reiterados ataques que sufriría por los brutales piratas berberiscos.

Las embarcaciones preferidas para exploración o persecución eran los jabeques. Veloces y con una cierta capacidad de transporte de hombres y mercancías, fueron cobrando importancia entre los piratas norteafricanos. Su mayor autonomía al no necesitar remeros y su escaso calado les permitía adentrarse en aguas someras y acercarse mucho a la costa, por lo que se convirtieron en el barco pirata por excelencia. Es el triunfo de la vela, dejando el remo relegado a determinadas situaciones raras y de emergencia.

En 1503, bajo el mandato de Fernando el católico, se produjo un ataque berberisco en Cullera. El 25 de mayo, diecisiete naves corsarias desembarcaron a quinientos soldados y el ejército invasor captura a más de un centenar de cautivos.

La noticia se extiende por la comarca. El capitán Fígola corrió en socorro de Cullera, pero sus hombres no le siguieron y se encontró rodeado de enemigos. Intentó huir, pero no lo consiguió y decidió morir matando. A media mañana, ante la continua llegada de refuerzos cristianos, los piratas se retiraron quemando la iglesia y zarpando de vuelta a sus bases.

En 1532, los corsarios berberiscos vuelven a desembarcar con otras diecisiete naves en Cullera, esta vez con la intención de llevarse a decenas de familias moriscas que quieren trasladarse a África y están dispuestas a pagar su pasaje.

La noticia llega a Gandía, donde el duque Juan de Borja avisa a Serafín de Centelles, conde de Oliva. Ambos juntan sus fuerzas y se apostan frente a los barcos fondeados junto al Júcar. Moriscos y corsarios se encaminan hacia las naves, pero al ver interceptado su camino, se lanzan contra las fuerzas cristianas.

Durante la refriega, Juan de Borja es rescatado de morir entre los soldados enemigos en el último momento. Serafín de Centelles sufre parecida suerte: un arcabuzazo y una flecha le hieren en una de las escaramuzas de la batalla, se defiende en el suelo y es salvado en última instancia. El ejército cristiano se desordena por la caída de sus jefes y los moriscos consiguen embarcarse hacia Berbería. Con el fracaso de la gran expedición española a Argel encabezada por el rey Carlos I de España y V de Alemania, los berberiscos se envalentonaron y los ataques arreciaron.

Pero la más conocida de las algaradas corsarias en Cullera tiene lugar en 1550 cuando el propio Dragut decide tomar la villa, siendo un reflejo de lo sucedido en 1503. Con la diferencia que, en esta ocasión, los cristianos procedentes de Gandía, Oliva, Alcira y Sueca sorprenden a los tunecinos entregados al pillaje en las calles y está a punto de producirse el desastre de los atacantes. Pero Dragut reacciona y desembarca en persona para organizar la retirada hacia las naves.

La operación relámpago fue un éxito y Dragut se apoderó de un botín enorme en bienes y rehenes que posteriormente serían rescatados a cambio de suculentas sumas de dinero. Una de las fuentes de ingresos de los piratas eran los rehenes y la posibilidad de obtener un rescate por ellos. Por ese motivo, dice la leyenda que es en la cueva, que actualmente tiene su nombre, donde alzó bandera de rescate y dónde se produjo la redención en metálico de los cautivos inmediatamente después del ataque.