На летните олимпийски игри спортистите се състезават в много спортове, включително гимнастика. Тази дисциплина присъства в състезателната програма от първата Олимпиада от 1896 г. в Атина.
Гимнастиката е един от спортовете, който може да донесе много медали на конкретен спортист и национален отбор. Съвременната програма на Олимпиадата предвижда връчването на 14 комплекта награди. Мъжете се състезават за награди в абсолютното първенство, отборно състезание, упражнения на пода, свод, упражнения на успоредни щанги, халки, кон и напречна греда. При жените последните 4 черупки се заменят с неравномерни греди и дънер.
На първите олимпийски игри през 1896 г. се провеждат състезания само за мъже по гимнастика. Повечето награди - 10 - бяха получени от спортисти от Германската империя. Достойни бяха и отборите на Гърция и Швейцария.
През 1908 г. гимнастички от Руската империя се представят за първи път на Олимпиадата. Това бяха спортисти от Финландия и те се представиха под името на своята страна, макар и под руския флаг. Финландският отбор получи бронз в отборни състезания.
За първи път жените успяха да участват в състезания по гимнастика на Олимпийските игри в Амстердам през 1928 година. Тогава бяха допуснати само до отборни състезания. Сред женските отбори първото място зае Холандия.
През 1952 г. конкурсната програма се разширява значително. По-специално сред жените започна да се провежда абсолютно превъзходство, както и състезания в отделни апарати. Олимпиадата в Хелзинки беше триумф за съветските гимнастички. Това беше първото им участие в олимпиадата. В резултат на това спортисти от СССР спечелиха 22 медала, от които злато в мъжкия и женския отбор и абсолютни първенства.
В следващите игри успехът на съветските спортисти се повтори. Като част от съветския отбор, гимнастичката Лариса Латинина започна да се представя, тя получи най-много олимпийски медали в историята на спорта.
От 60-те години програмата на състезанията по гимнастика не се променя. Въведени бяха обаче нови изисквания към спортистите. От 90-те до състезанията не се допускат момичета под 16 години, въпреки че преди това имаше случаи на получаване на медали и четиринадесет години.
Успехите на Русия, в сравнение със Съветския съюз, в този спорт станаха по-скромни. Въпреки това има надежда, че ситуацията ще излезе дори с появата на ново поколение млади спортисти в големите спортове.