Conocido como El sonero de América, despegó su vida artística desde muy joven. A los ocho años ya cantaba en público, a los doce era una de las voces del coro de la catedral y al tiempo, se ganaba la vida en un local denominado La Tuerca.
Despues de actuar con Los Corraleros de Magajual, arriba a Barranquilla y su carrera musical arrancó fuertemente con Fruko y sus Tesos donde fue vocalista principal. Composiciones como Tania, El caminante y El preso son algunos de sus grandes éxitos. También formó parte de la orquesta The Latin Brother’s.
En 1982 formó su propia agrupación: La Verdad. Su exitosa carrera estuvo a punto de truncarse en 1983. Problemas de salud y problemas con las drogas le dejaron al borde de la muerte. Finalmente resurgió y pudo continuar con su carrera. Recibió 18 Congos de Oro y un Supercongo, entre otros premios y condecoraciones.
Es de recordar que el tema ‘En Barranquilla me quedo ‘ es una canción compuesta e interpretada por el cantante colombiano Joe Arroyo, junto a su arreglista Chelito de Castro. Fue grabada en los estudios de Discos Fuentes el 25 de julio de 1988 junto a la orquesta La Verdad.
A las 7:45 de la mañana del 26 de julio de 2011, Joe Arroyo falleció en Barranquilla tras permanecer hospitalizado 30 días. Complicaciones respiratorias y renales acabaron con su vida.