La historia sigue la vida de Pavel Korchagin, incluida su lucha durante y después de la guerra civil rusa. Korchagin luchó por los bolcheviques durante la guerra y resultó herido. La novela examina cómo Korchagin se cura de sus heridas y, por lo tanto, «se vuelve tan fuerte como el acero».
La novela comienza cuando Korchagin tiene 12 años y vive en la ciudad de Shepetivka en Ucrania. Lo echan de la escuela por poner tabaco en una masa de pan y debe ir a trabajar como lavaplatos. Como lavaplatos es golpeado por un compañero de trabajo, pero su hermano Artyom lo defiende. La novela avanza hasta los 16 años cuando él está trabajando en una planta de energía. Conoce a un bolchevique llamado Zhukhrai después de un encontronazo con la policía secreta zarista. Zhukrai le cuenta sobre los bolcheviques y Lenin. También conoce a Tonia Toumanova, su interés amoroso. Nuevamente la novela salta a 1917 cuando el ejército alemán invade Shepetovka. Korchagin lucha contra los alemanes y finalmente se une a los bolcheviques en la Guerra Civil. Está gravemente herido y pierde parcialmente la vista. Después de la guerra, trabajó como obrero, incluida la construcción de vías férreas. Finalmente se lesiona más y pierde las piernas y una mano. Se va a Crimea a vivir sus días. El libro se cierra con Korchagin sentado para escribir una autobiografía: «Así se templó el acero», estableciendo así el libro como un dispositivo de encuadre autocumplido.