秦滅亡后，漢朝建立。漢襲秦制，繼承秦代的三公九卿之制。劉邦起事，最終得天下，靠的是一班與他一起出生入死的功臣，因此漢朝建立之初，功臣的權力一般很大，許多人也敢于與皇帝面折廷爭，丞相一職基本均由開國功臣擔任。據《漢書》載：漢高帝元年(公元前206年)，漢高祖以蕭何為丞相，十一年更名相國，“相國、丞相，皆秦官，金印紫綬，掌丞天子助理萬機”。

至于“大司馬”一職，很多學者認為始于漢武帝時期，殊不知，高祖時期就已經出現了。據《史記高祖功臣侯者年表》中就提及丁復曾任大司馬：“(陽都侯丁復)以趙將從起鄴，至霸上，為樓煩將，入漢，定三秦，別降翟王，屬悼武王，殺龍且彭城，為大司馬;破羽軍葉，拜為將軍，忠臣，侯七千八百戶。”

不過，這一時期的“大司馬”與武帝時期的“大司馬”還是有很大區別的。

武帝即位以后，采納董仲舒的“推明孔氏，抑黜百家”建議，獨尊儒家學說，進行泰山封禪、改正朔、易服色等活動，神化皇權，君主中央集權進一步加快。

同時，針對丞相的權力過大這一問題，武帝也采取相應的措施。元朔五年(公元前124年)，武帝一改之前以功臣子孫列侯任丞相的傳統，任命平民出身的公孫弘為丞相，封平津侯。

原本無爵位的公孫弘，能得到武帝所賜的丞相與爵位，對武帝可謂言聽計從，“每朝會議，開陳其端，令人主自擇，不肯面折庭爭”(《史記》)，在公孫弘后相繼的六任丞相，獲罪自殺的兩人，下獄處死的三人，皇權得以大大加強，而丞相的權力則被大大削弱。

可見，武帝之設大司馬職官，只是用來“冠將軍之號”，即加官之大司馬。而高祖時期的“大司馬”是高級將領之大司馬，兩者有著本質的區別。

自武帝后，盡管改太尉為大司馬，其性質也僅是加官，空有名號，并無軍政實權。

昭帝以后，內朝為中央樞機，掌中央機密決策，大司馬作為內朝領袖，可領銜在內朝預聞政事，參議決策，即“輔政”，輔助皇帝行使君權，地位最高的輔政大臣。

為更好地體現輔政職能，大司馬又常攝領尚書事，自宣帝至西漢末年，“凡受遺詔輔政者，皆領尚書事，成為故事”。

如霍光，擔任大司馬，卻擁有廢立之權，即使天子本人對其也是“虛己斂容，禮下之已甚”。據《漢書霍光傳》載：“黨親連體，根據于朝廷。光自后元秉持萬機，及上即位，乃歸政。上謙讓不受，諸事皆先關白光，然后奏御天子。光每朝見，上虛己斂容，禮下之已甚。”

再如王莽，據《漢書》載：“秉政，百官總己以聽。”又如東漢末李傕，將天子當成傀儡，玩弄于股掌之間。

當然，以上這些僅為特例，但也可看出“大司馬”之職曾擁有的“特權”。

據不完全統計，西漢時期擔任“大司馬”之職者共計二十二人，其中王商與王莽就曾兩次擔任。兼有車騎將軍之號者八人，兼衛將軍之號者六人，兼大將軍之號者四人，兼驃騎將軍之號者三人。而王莽、師丹、傅喜三人僅為大司馬而無將軍之號。

至東漢時，漢光武帝又重新將大司馬改為太尉，太尉的職權又日益加重，除軍事顧問外，還綜理軍政，儼然手握軍權政權的重臣。