洪武十四年（公元1381年）置，命李仕鲁为首任大理寺卿，正五品。置左右少卿，从五品；左右寺丞，正六品。十九年（公元1386年）置审刑司，共平庶狱。凡是大理寺所理之刑狱，审刑司均复详议之。为加强大理寺的权力，洪武二十二年（公元1389年），升大理寺卿为正三品，少卿正四品，丞正五品。可见明太祖对这个执法机关是很重视的，据《明代典则》记载，洪武二十四年（公元1391年）六月，太祖把大理寺丞周志清提为卿，并说：“大理之卿，即古之廷尉，历代任斯职者，独汉称张释之、于定国，唐称戴胄。盖由其处心公正，议法平恕，狱以无冤，故流芳后世。今命尔为大理寺卿，当推情定法，毋为深文 ，务求明允，使刑必当罪。庶几可方古人，不负命也”。

大理寺所掌为“审谳平反刑狱之政令”。要做到“推情定法”，“刑必当罪”，使“狱以无冤”是很不容易的。所以大理寺官员选任之当否是非常重要的，据《梦余录》记载，宣德时，吏部尚书蹇义特为此事向宣宗上疏说：：“刑部、都察院，职典刑名，而大理寺尤专详谳。居是职者，必得其人。其官属，宜从堂上官精加考，庸劣不称者黜之，贪婪苛刻者罪之，其有作奸犯科者，责令互相纠举。违者，一体论罪。”