Arroyo comenzó su carrera a muy temprana edad, cuando a los ocho años cantó en un local bailable de su ciudad natal,Cartagena.Cantó en una agrupación de la costa llamada "Los Caporales del Magdalena". En 1971 tiene su gran oportunidad cuando firma para Discos Fuentes, y es reclutado por Ernesto Estrada, el bajista, cantante, compositor y productor de Fruko y sus Tesos. Con esta orquesta alcanzó gran fama.

Luego, grabó con el grupo The Latin Brothers y en 1981 fundó su propia orquesta, a la que llamó La Verdad. Dos años después, es dado por muerto tras sufrir una enfermedad que le mantuvo alejado de los escenarios, aunque siguió grabando discos. Algunos de estos son ahora clásicos de la música caribeña, con grandísimas canciones salseras y en diversos ritmos del Caribe colombiano, que le han supuesto multitud de premios y ser considerado como el Rey del Carnaval de Barranquilla.

Con "La Verdad" se dedica a mezclar diversas influencias musicales, fundamentalmente la salsa con la música caribeña colombiana (cumbia, porro y champeta) y con diversos ritmos del Caribe (soca, reggae) hasta crear su propio ritmo, el "Joesón", que le caracteriza y le hace único. Entre sus recientes éxitos destaca "La Fundillo Loco".

Quizás su mayor éxito haya sido "Rebelión" (1986), una canción que narra una historia sobre un matrimonio africano, esclavo de un español, en la Cartagena de Indias del siglo XVII. El solo de piano, ejecutado por Chelito De Castro, y los soneos de Arroyo, junto con un ritmo avasallador, hicieron de "Rebelión" un éxito inmediato que aún se baila en las fiestas y discotecas.

Algunas de la cancíones más exitosas de Joe Arroyo son: "El Caminante", "Tania"(dedicada a su pequeña hija) y "El Ausente", todas tres grabadas con Fruko. Sin embargo, con "La Verdad", sus éxitos no han sido menos impresionantes.

El álbum "Fuego En Mi Mente" (1989) contiene un excepcional solo de piano de De Castro (nuevamente) y buen número de canciones con influencias de la música africana y de la salsa contemporánea. Con "La Guerra de los Callados" (1991), realizó su primera gira española. En 1993, editó "Fuego" y volvió a tocar en España.

Joe Arroyo ha grabado con las casas disqueras Discos Fuentes y Sony Music. Luego de una temporada de varios años en Sony Music, regresa a Discos Fuentes - radicada en Medellín - en 2003, donde ha grabado sus más recientes trabajos: Arroyo Peligroso, Se Armó la Moña y el Super Joe, que salió a la venta el 14 de septiembre de 2007 en Colombia.