明太祖朱元璋开国之后，内部官员仍旧沿袭元朝的一套规章制度。皇帝之下设中书省，由中书省长官左右丞相总理吏、户、礼、兵、刑、工六部等事务。

当时左丞相胡惟庸擅作威福，独断专行，“生杀黜陟（降升）”

不向皇帝奏明就直接去独自执行。他还图谋加害皇帝朱元璋。1380年（明洪武十三年）2月12日，胡惟庸对太祖说，他家里有一口井出了醴泉，请皇上去看看。醴泉是指甜美的泉水。古人以为“天降甘露，地出醴泉”都是国家的吉兆。明太祖应邀去胡府观看。御驾已出西华门，有一个名叫云奇的太监急匆匆赶来，挡住御道，拉住马缰，张嘴要说话，却由于一时紧张，舌头发硬，又说不出话来。明太祖怪他无礼，让人拉下去重打，云奇被打得气息奄奄，却还是指着胡惟庸家的方向。明太祖忽然醒悟过来，登城远望，只见胡府中刀枪林立，原来设有伏兵。他马上命令羽林兵包围了胡惟庸的住宅，把他抓起来杀了。这便是“胡惟庸案”。

1386年（洪武十九年）与1390年（洪武二十三年），太祖又认为胡惟庸有勾结倭寇、私通北元的罪状，穷究党羽，牵连致死者达三万余人，称为“胡狱”。