El 15 de octubre de 1910, un grupo de ciudadanos de Bahía Blanca se reunieron con el objetivo de formar un club que se dedique al deporte, en especial a la práctica del fútbol.

En primer lugar, se decidió por votación de 11 a 2 que el nombre sea Olimpo, en referencia al monte homónimoque la mitología griega señala como cuna y morada de los Dioses. Quedaron así en camino otras propuestas como Libertad y River Plate. Finalmente, fue Avellanal el que propuso los colores amarillo y negro ya que, nacido en Uruguay, era simpatizante del Club Atlético Peñarol.

Olimpo durante su historia se ha destacado por la práctica del fútbol. Sin embargo, dicho deporte tuvo su auge en el club a partir de la década de 1960. Anteriormente, disputaba solamente torneos de la Liga del Sur, mediante la cual, el ganador de la misma, tenía acceso a disputar el Torneo Regional.

La mayoría de la hinchada de Olimpo se concentra en la ciudad de Bahía Blanca y en el partido homónimo, principalmente en los barrios Noroeste, Loma Paraguaya, Villa Delfina, San Martín,

La barra brava de Olimpo se hace llamar "la 74", porque tal número representa a la "gente negra" en los números de la suerte. Posee buena relación con Aldosivi de Mar del Plata. Su lista de clásicos y enemigos incluye a Villa Mitre de Bahía Blanca, y Huracán de Tres Arroyos.