Fue fundado el 24 de diciembre de 1889 y originalmente nomenclado como Central Argentine Railway Club. Posteriormente, se lo renombró Club Atlético Rosario Central, nombre que adoptara el club en 1903 en asamblea y por clamor popular. 

En el año 1905 el club finalmente pudo desarrollar su actividad principal. De la misma, se separó en dos ocasiones: la primera en 1913 en donde participó de la disidenteFederación Rosarina de Football, mientras que la segunda fue entre 1920 y 1921 en donde fue parte de la también disidente Asociación Amateurs Rosarina de Football. Entre 1931 y 1938 fue miembro de la Asociación Rosarina de Fútbol, donde disputó sus primeros campeonatos profesionales.

Entre estos tres períodos, que van desde 1905 hasta 1938, Rosario Central totalizó quince campeonatos locales, tres copas rosarinas oficiales, y cinco Copas nacionales oficiales de la AFA.

Si bien durante toda la Era amateur y profesional rosarina (1905-1938) el club participó activamente de las Copas nacionales oficiales organizadas por las asociaciones antecesoras a la AFA, recién a partir de 1939 se incorporó definitivamente al Campeonato de Liga profesional regular de Primera División organizado por el ente rector del fútbol argentino, en donde se consagró campeón en 4 oportunidades. En adición es el primer equipo del interior en ser campeón y subcampeón en torneos nacionales de liga.

A nivel internacional obtuvo una vez la Copa Conmebol y alcanzó la final de la misma copa en otra oportunidad. Este logro, lo convierte en el único equipo de la Provincia de Santa Fe en haber conquistado un título internacional oficial organizado por la Confederación Sudamericana de Fútbol. Con 20 participaciones oficiales en torneos internacionales organizados por la CONMEBOL Rosario Central es el octavo club argentino con más participaciones internacionales oficiales, siendo el mejor club del interior del país ubicado en ese rubro. En adición lleva 10 participaciones en la Copa Libertadores de América, en donde fue dos veces semifinalista. A su vez, es el séptimo equipo argentino que más puntos sumó en la Tabla histórica de la Copa Libertadores de América.

Al 2015 cuenta con nueve títulos nacionales oficiales y uno internacional oficial en su haber. Esto lo coloca como el equipo del interior del país con más logros oficiales obtenidos, ubicándose décimo en el ránking argentino de clubes ganadores de títulos oficiales en toda la historia.

Su clásico rival es el Club Atlético Newell's Old Boys con quien disputa el Clásico rosarino. Dicho partido es el clásico más antiguo de los que aún se disputan en el fútbol argentino, y uno de los más convocatorios de la Argentina. No existe un registro oficial sobre el total de los clásicos a lo largo de los más de 100 años de enfrentamientos, por lo que es habitual encontrar diferentes fuentes que intentan reflejar las instancias de cruce. Al día de hoy Central aventaja por uno a Newell´s (10 a 9) en cuanto a la suma total de títulos nacionales e internacionales oficiales en toda la historia. Los auriazules de Arroyito poseen 4 Ligas de Primera división, 5 Copas nacionales oficiales de AFA, y 1 copa internacional oficial organizada por la Confederación Sudamericana de Fútbol. Por su parte, los rojinegros del Parque de la Independencia cuentan con 6 Ligas de Primera división, y 3 Copas nacionales oficiales de AFA. A 2015, Rosario Central lleva la delantera en el historial del clásico.

Rosario Central es uno de los clubes que reivindica ser uno de los grandes del fútbol argentino. Desde 2012 integra, junto a otros 10 equipos, la galería de «clubes clásicos de la FIFA» para el fútbol argentino, como uno de los equipos más tradicionales y representativos del país.

En 1913 Rosario Central se alzó con el título de la Federación Rosarina de Football y también con la Copa de Competencia de la Federación Argentina de Football. Posteriormente, entre 1914 y 1917, logró el tetracampeonato rosarino obtenido en fila, sumado también a otras tres copas nacionales oficiales de AFA que Central obtuvo entre 1915 y 1916. En esas cinco temporadas (1913-1917), el club ganó cinco títulos locales consecutivos y cuatro copas nacionales. A raíz de estos resultados, se comenzó decir que el equipo rosarino "daba cátedras de fútbol" y se lo comparó con el Racing Club de Avellaneda; club que prevalecía en Buenos Aires en aquel tiempo y recibía el mote de La Academia.

El origen del apodo "Canallas" es incierto, ya que hay numerosas versiones. La más difundida comenta que debido a la negativa a participar en los años 20 en cierto partido a beneficio del Patronato de Leprosos frente a su clásico rival, Newell's Old Boys, los seguidores de éste estigmatizaron la negativa con el insulto: "¡Canallas!", lo que llevó a los centralistas a endilgar a sus rivales con el contra-insulto: "¡Leprosos!"

Otra versión establece que en 1928 los aficionados de Central incendiaron unas lonas cercanas a la cancha del Club Belgrano de Rosario luego de un partido contra este equipo. Al ver la situación los hinchas de Belgrano comenzaron a gritarles: "¡Son unos canallas! ¡Son unos canallas!".