Fue fundado el 1 de abril de1911. El club surgió a partir de la idea de un grupo de entusiastas que fundaron el Sarmiento Football Club. Recién 22 años después, el 27 de enero de 1933 la Asamblea aprueba el cambio de nombre y se sustituye la denominación de Sarmiento Football Club por la que perduraría en el tiempo: Club Atlético Sarmiento.

En su etapa amateur compitió sólo en la Liga Deportiva del Oeste, pasando al profesionalismo al afiliarse a laAsociación del Fútbol Argentino en 1952. Desde entonces ha disputado los campeonatos oficiales, logrando un título de segunda división y tres de tercera, habiendo jugado dos temporadas en primera división y más de 30 en segunda. El club no dejó de estar afiliado a la liga local, en la cual sigue participando con un equipo amateur siendo la entidad que más títulos logró, con 27 campeonatos incluyendo cuatro nocturnos y un interligas.

En 1980 se produce el acontecimiento más importante en la historia de Sarmiento: consigue el ascenso a la Primera División de Argentina por primera y única vez en su historia. Tras dos temporadas en Primera A vuelve a la Primera B.