По време на обсъждането на III Олимпийски игри Международният олимпийски комитет реши да го организира в САЩ, тъй като тази страна показа добри резултати в предишните две игри. Първоначално те искаха да проведат Олимпиадата в Чикаго или Ню Йорк, но в резултат на това изборът падна върху малкия пристанищен град Сейнт Луис.
III Олимпиада в Сейнт Луис, заедно с Париж, се проведе като част от Световната изложба. Местното ръководство на изложението обаче не го счита за конкурент, а напротив, направи всичко възможно да използва игрите за собствени рекламни цели. Освен това организаторите повториха някои от грешките на Летните олимпийски игри в Париж през 1900 г. Поради привързаността към Световната изложба, състезанията бяха отведени на заден план, а самата Олимпиада се проточи почти 5 месеца (1 юли - 23 ноември 1904 г.). Много състезания се провеждаха под ръководството на различни професионални организации, но въпреки това всички те получиха титлата олимпийски дисциплини.
Според МОК 12 страни са участвали в летните игри в Сейнт Луис. Единственият щат, който за първи път присъства на състезанието, беше Южна Африка. В сравнение с олимпийските игри в Париж броят на участващите страни рязко е намалял. 13-те щата, участващи в летните игри в Париж, не можаха да дойдат в Сейнт Луис по икономически причини. Русия, която се бори с Япония по това време, не участва в състезанията.
Общо 651 души, включително 6 жени, се представиха на III летни олимпийски игри. Те се състезаваха за 94 комплекта награди в 18 спорта. Най-големият отбор беше Съединените американски щати, те представиха 533 души на игрите. В много спортове (бокс, борба, водна топка, стрелба с лък и тенис) само американски спортисти се представяха, така че игрите ясно демонстрираха първенството на страната.
В Сейнт Луис за първи път започнаха да награждават трима, а не двама спортисти, които показаха най-добрия резултат. Основният победител в състезанието беше награден със златен медал; второ място състезател - сребро; а третото място бе отбелязано с бронзова награда. Тази традиция е запазена до наши дни.
В неофициалното отборно класиране участващите страни са както следва: I място - САЩ (78 златни, 82 сребърни, 78 бронзови медала), II място - Германия (4 златни, 4 сребърни, 5 бронзови медала), III място - Куба (4 златни, 2 сребърни, 3 бронзови медала).
