司马迁为李陵说了一些辩护的话在狱中就遭到了宫刑的处罚。宫，即“丈夫割其势，女子闭于宫”，就是对男性施以阉割，割除其外生殖器，有时候只割阴茎，有时候也破坏阴囊和睾丸。对男性施宫刑以后，因为伤口容易腐烂，所以通常在密不透风的“蚕室”中待百日，以保全性命。
唐颜师古解释蚕室说：“凡养蚕者欲其温早成，故为蚕室，畜火以置之。而新腐刑亦有中风之患，须入密室，乃得以全，因呼为蚕室耳。”意思是人在受宫刑后，因伤口易感染中风致命，如要活命就要待在似蚕室般的密室内，在不见风与阳光的环境里蹲上百日以上，伤口才能不被感染而逐渐愈合。
宫刑于何时出现已是远不可稽，一般相传在远古的夏禹以前已出现，最初是用来惩罚男女之间不正当的性关系。《尚书》中提到宫刑，为五刑中仅次于大辟(斩首)的刑罚。后来宫刑应用的范围越来越广泛，至西周时已不限于风化案件。到了战国时，孟氏之子劝秦王以仁义治国，即被秦王处以宫刑。
汉文帝时曾一度废除宫刑及其他肉刑，但至景帝时恢复，并规定某些死刑可以用宫刑代替。汉武帝时宫刑十分普遍，大臣往往因言得咎，而受此刑。自东汉开始，宫刑被用于处置谋反者的未成年家属，算是对他们的一种赦免。至隋文帝时，宫刑被废止于刑律之外，之后各代的刑律中亦再没有见到宫刑，直至明朝。
有人说，司马迁写《史记》，由于批评了汉武帝的穷兵黩武，所以惹恼了他，但是汉武帝又不能明里阻止，所以就用除死刑外最残酷的刑罚来惩罚他，打击他的精神和意志，打击他独立进行历史评判的价值追求。这是封建帝王的惯用术，不仅阉割肉体，而且阉割精神。