擴廓帖木兒去世後，元太尉納哈出依然屢次入侵遼東。太祖讓馬雲、葉旺等人嚴加戒備，等納哈出再來的時候進行伏擊，結果元軍大敗，納哈出倉皇逃走，從此北塞就安定了。
江山坐穩以後，太祖一直想把兵權從武將的手裡收回來，只因北方還沒有徹底平定，南方也還有元朝餘孽，一時不便撤兵，只好先這麼著，但太祖心裡總有些介懷，於是決定大修文治。
明朝建立伊始，中華大地經過近二十年戰亂的破壞，一片凋敝。對此情形，太祖實行了發展生產，與民休息的政策。太祖稱帝不久，外地州縣官來朝見，太祖對他們說：「天下初定，老百姓財力睏乏，像剛會飛的鳥，不可拔它的羽毛；如同新栽的樹，不可動搖它的根。現在重要的是休養生息」。
太祖接受大臣建議，鼓勵開墾荒地，頒下法令：北方郡縣荒蕪田地，不限畝數，全部免三年租稅。他還採取強制手段，把人多地少地區的農民遷往地廣人稀的地區；對於墾荒者，由政府供給耕牛、農具和種子，免稅三年，所開墾出來的土地歸墾荒者所有；還規定，有五畝至十畝田的農民，必須栽種桑、棉、麻各半畝，有十畝以上田地的加倍種植。這些措施大大激發了農民墾荒的積極性。
除了民屯外，明朝初年還有軍屯和商屯。軍屯由衛所管理，官府提供耕牛和農具。明軍隊屯守的比例是：邊地軍隊三分守城，七分屯田；內地軍隊二分守城，八分屯田。軍糧基本上自給自足。商屯是指商人在邊境僱人屯田，就地交糧，省去了販運費用，獲利更大。商屯的實行，解決了軍糧問題，同時也開發了邊疆。
爲了恢復和發展生產，太祖也十分重視興修水利和賑濟災荒。在即位之初，太祖就下令，凡是百姓提出有關水利的建議，地方官都必須及時奏報，否則加以處罰。到洪武二十八年，全國一共開塘堰大約40987處，疏通河流大約4162道，成績顯著。
太祖出身農民，深知災荒給農民造成的痛苦，在他即位後，常常減免受災和受戰爭影響地區的農民的賦稅，或者給以救濟。太祖還十分愛惜民力，提倡節儉。他即位後，在應天修建宮室，只求堅固耐用，不求奇巧華麗，還讓人在牆上畫了許多歷史故事以提醒自己時時注意。
按照慣例，太祖使用的車輿、器具等物，應該用黃金裝飾，但太祖下令讓人全部以銅代替。主管的官員報告說用不了很多黃金，太祖堅持說，他不是吝惜這點黃金，而是提倡節儉，自己應作爲典範。
在太祖的積極推動下，農民的生產熱情高漲。明初農業發展迅速，一改元末農村的殘破景象。
洪武二年，太祖昭告天下，興建學校，選拔學官，並堅持把「教育工作」作爲衡量地方官政績的重要指標。爲了選拔能聽命於皇帝的官吏，明朝政府規定科舉考試只許在四書經義範圍內命題，考生只能根據指定的觀點答卷，不准發揮自己的見解。所有郡縣都要設立學堂，每三年舉行一次科舉考試，還有鄉試和會試等。鄉試定在八月，會試定在二月，每三年考一次，每次考試分三場。第一場考四書經義，第二場考寫文章，第三場考經史實務策論。
自古以來，禁錮人思想最好的方法莫過於科舉，想高中想飛黃騰達的少年郎們，無論是誰都必須埋頭苦讀，竭力鑽研，有的到老都沒有高中過，大好的光陰就這麼虛度了。
太祖曾說過：「科舉讓天下所有的英雄都歸我了。」可見太祖的本意並不是振興中國文化，只是想借科舉籠絡人心。
到了後來，太祖又將四書經義改爲八股文，考試的範圍越來越狹窄，學子們迎合出題者的意圖，都從八股文入手，滿口的之乎者也，迂腐不堪，沒有一點實際用處。這種流毒一直延續了五六百年才得到改革，真是讓人痛恨。後人將始作俑者看成太祖並非冤枉了他。
太祖喜歡四處徵求賢才，專門派人去尋找高人隱士和元室舊臣。
山東有一位叫田興的俠士，因爲經商經常來往於江淮之間。太祖有一次在郊外生了病，田興正好路過救了他，並和太祖結爲了異姓兄弟。後來太祖四處征討時，田興曾給太祖寫信揭發軍中的不法行爲，但沒有寫自己的名字。太祖猜到是田興，於是懲處了相關的人，唯獨遺憾信上沒有寫田興的住址。
洪武三年，江北六合、來安一帶有老虎害人，官府重金懸賞英雄打虎，田興挺身而出，十日內殺死了七隻老虎，當地百姓都歡呼不已，爭著設宴款待田興，而官府的賞銀，田興卻一分沒要。這事傳到京師，太祖料到打虎的人是田興，隨即派人去請他，可田興不願赴約，太祖於是又派人送去親筆書信。
他在信中寫道：
元璋見棄於兄長，不下十年，地角天涯，無從晤覿。近聞兄在江北，爲除虎患，不禁大喜。遣使敦請，不我肯顧。未知何開罪至此？人之相知，莫如兄弟。我二人雖非同胞，情逾骨肉。昔之憂患，與今之安樂，所處各當其時。元璋固不爲憂樂易交也。世未有兄因弟貴，而閉門逾垣，以爲得計者，皇帝自皇帝，元璋自元璋，元璋不過偶然作皇帝，並非一作皇帝，便改頭換面，不是朱元璋也。本來我有兄長，並非作皇帝便視兄長如臣民也。國家事業，兄長能助則助之，否則聽兄自便，只敘兄弟之情，不談國家之事。美不美？江中水，清者自清，濁者自濁，再不過江，不是腳色。兄其聽之！
田興看到信後，盛情難卻，終於還是來了京城，太祖親自出城迎接他，對他格外親暱，簡直比對自己的親人還要上心。
一個月後，太祖在席間偶然談起了國事，田興立馬正色道：「君無戲言，皇上答應了臣不談國事。」太祖於是不敢再談國事。後來田興又屢次想離開京城，太祖苦苦挽留他，他才只好答應在京城住下來，不幸的是沒多久便去世了。
太祖找尋的賢才還有元朝的行省參政蔡子英。
自從元朝滅亡之後，蔡子英跟著擴廓帖木兒逃到定西，擴廓帖木兒戰敗逃走後，蔡子英就一個人在關中的山上四處流亡。太祖聽說了他後，命人將他的相貌畫了下來，派人四處尋找。
後來，蔡子英被湯和抓住，對湯和做了一個長揖，卻不肯拜他。湯和讓他下跪，蔡子英不肯，湯和於是讓人用火燒他的鬍鬚，蔡子英還是面不改色。湯和只好將他押回京城，太祖卻親自爲蔡子英解開枷鎖，待他十分和氣。
太祖本想授予蔡子英官職，但他始終不肯接受，並且語氣誠懇地上書說：
陛下乘時應運，削平羣雄，薄海內外，莫不賓貢。臣鼎魚漏網，假息南山，曩者見獲，復得脫亡，重煩有司追跡。而陛下以萬乘之尊，全匹夫之節，不降天誅，反療其疾，易冠裳，賜酒饌，授以名爵，陛下之恩，包乎天地矣。
臣非不欲自竭犬馬，但名義所存，不敢輒渝初志。自惟身本韋布，知識淺陋，過蒙主將知薦，仕元十有五年，愧無尺寸功以報國士之遇。及國家破亡，又復失節，何面目見天下士？管子曰：「禮義廉恥，國之四維。」今陛下創業垂統，正當挈持大經大法，垂示子孫臣民，奈何欲以無禮義寡廉恥之俘囚，而廁諸新朝賢士大夫之列哉？臣日夜思維，咎往昔之不死，至於今日，分宜自裁，陛下待臣以恩禮，臣固不敢賣死立名，亦不敢偷生苟祿。若察臣之愚，全臣之志，禁錮海南，畢其生命，則雖死之日，猶生之年。昔王蠋閉戶以自縊，李芾闔門以自屠，彼非惡榮利而樂死亡，顧義之所在，雖湯鑊有不得避也。眇焉之軀，上愧古人，死有餘恨，惟陛下裁察！
太祖看到蔡子英的奏章後對他更加敬重。一晚，蔡子英忽然大哭不止，別人問他什麼原因？蔡子英說想起了舊主。太祖知道他很難回心轉意了，就命人將他送出塞外，讓他繼續跟著元主。
除了蔡子英以外，還有元朝行省都事伯顏子中也是一位忠君的奇才。
伯顏子中原先駐守贛州，陳友諒攻破贛州後，伯顏子中招募兵馬和他對戰，結果兵敗，逃去了福建。陳友定封伯顏子中做員外郎，後來又慢慢升到了吏部侍郎。伯顏子中被廖永忠抓住時，廖永忠曾恐嚇他投降，伯顏子中誓死不屈，廖永忠只好放他離開了。之後伯顏子中一直隱姓埋名遊走於江湖上。現在太祖對他求之不得，便扣留了他的妻子，不料，伯顏子中卻不爲所動。
後來明布政使沈立本將他舉薦給了太祖，太祖當即派使者前來重金聘請，伯顏子中得知消息後，嘆息道：「現在死都來不及了啊！」接著作下七篇詩歌，飲藥自盡了。
伯顏子中一生苦讀，雖未中舉，但學識淵博，善於用詩歌抒發思想情感。他的《春日絕句》《過烏山鋪》等佳作，無不是以細膩的筆觸、空靈的情調，刻畫出江南水鄉的暮春景色，並以形象的描繪、直率的抒情，道出了自己痛苦難耐的心境。
太祖擔心自己久居深宮閉目塞聽，就常常帶著幾名親信微服出行，一方面爲了探訪能人賢士，另一方面爲了視察吏治，調查民情，所以江淮一帶，經常能找到太祖的蹤跡。
相傳太祖有一次來到多寶寺，看到大殿的幢幡上全部寫的是多寶如來的佛號，便對侍從說：「寺名多寶，有許多多寶如來？」
學士江懷素聽了，脫口答道：「國號大明，無更大大明皇帝。」馬屁拍得真是絕對，太祖大喜，立刻升任江懷素爲吏部侍郎。
接著，太祖來到後院，見一扇門上貼有一張紙條，上面寫著維揚陳君佐住在此處。陳君佐年輕的時候極有才華，且豪放不羈，跟太祖還有過一面之緣。太祖見到字條後叫他出來相見。陳君佐出來了，太祖笑著問他說：「你當初幽默滑稽，我們一別這麼久，你還像以前那樣伶牙俐齒嗎？」
陳君佐不作聲。
太祖又問他：「朕現在得了天下，你覺得我像以前哪個皇帝呀？」
陳君佐開口說：「陛下當初蟄伏的時候常吃草根啃樹皮，及奮飛淮泗，行軍打仗的時候和士兵同甘共苦，吃粗糧野菜，臣認爲，陛下像神農皇帝，否則怎麼能一再嘗百草？」
太祖聽了拍掌大笑，令他隨行。
路上經過一間酒肆，太祖和陳君佐進去飲酒。酒肆很小，除了有酒和豆子外，什麼菜都沒有。太祖這時又出了一個對子：「小村店三杯五盞，沒有東西。」
陳君佐隨口接道：「大明君一統萬方，不分南北。」
太祖又大笑起來，對陳君佐說：「你跟朕回去，當個詞臣，怎麼樣？」
陳君佐說：「陛下跟唐堯虞舜相比毫不遜色，不過人各有志，我想陛下應該讓臣自由離去。」太祖也不再強迫他，兩人告別後就各自回去了。
過了幾天，太祖在微服出行的路上偶遇一個儒生。太祖見他文採風流，就停下和他聊了起來。儒生自稱是重慶府的監生，太祖於是出了個對聯考他：「千里爲重，重水重山重慶府。」
儒生不假思索地回答：「一人爲大，大邦大國大明君。」太祖聽了非常高興，又問了他的住址後才跟他告別。第二天，太祖派人賞賜他千金，儒生這才知道遇上了太祖，高興不已。
太祖還曾在元宵節的時候出去賞花燈、猜燈謎。
有次，太祖看到有一盞花燈上畫著一個婦人，手裡懷抱著西瓜坐在馬上，馬蹄很大。太祖不禁大怒，回去之後就讓人將做燈謎的人杖責打死。刑部覺得莫名其妙，忙問原因。
太祖怒氣沖沖地說：「褻瀆皇后是大不敬之罪，還敢說寬恕？」後來研究起來才知道，原來馬皇后是淮西——「懷西」人，而且是大腳，燈謎的寓意就是指馬皇后有一雙大腳，所以太祖才這麼生氣。
太祖還曾寫過這樣一首詩：
百僚已睡朕未睡，
百僚未起朕先起。
不如江南富足翁，
日高一丈猶擁被。
江南有一位富豪，名叫沈秀，綽號沈萬三。太祖進入金陵時想修築加固城牆，但苦於沒有足夠的資金，於是就和沈秀商議，沈秀願意和太祖一起出資修牆，並約定兩人各修一半。太祖以同時築就爲約，沈秀允諾，兩人隨即當下招募勞工雜役日夜趕造，等到兩人都完工的時候，沈秀比太祖早了三天竣工。
太祖表面上對他大加撫慰，暗地裡卻對此事耿耿於懷。
後來沈秀修築蘇州街時用了幾塊茅山石，太祖便說他擅自開採山脈，將他關進了大牢，預備賜他死罪。
馬皇后知道了這件事後，替沈秀求情，太祖說：「平民百姓都富可敵國，這是不祥呀！」
馬皇后說：「國家立法都是用來誅不法，沒有聽說過誅不祥呀。百姓富可敵國和國法又有什麼關係呢？」太祖不得已，只好將沈秀杖責後流放雲南。後來沈秀死在半路上，萬貫家財全部充公。
蘇州某富翁聽說這件事以後，暗自嘆息說：「皇上對富人積怨已久，怕是馬上會大禍臨頭了。」於是他到處做好事，將家財全部散光。
後來太祖果然吹毛求疵地誅殺富人，被賜死的各地富豪不計其數，唯獨那位已經破產的蘇州富翁得以倖免。
明初，官僚機構基本上沿襲了元朝，太祖逐漸認識到其中的弊病，於是進行了改革。
首先是廢除行省制。洪武九年，太祖宣布廢除行中書省，設立承宣布政使司、都指揮使司和提刑按察使司，分別擔負行中書省的職責，三者分立又互相牽制，防止了地方權力過重。
在軍事上，太祖廢除了管理全國軍事的大都督府，將其分爲中、左、前、後、右五軍都督府，並和兵部互相牽制。兵部有權頒發命令，但是不直接統帥軍隊，都督府掌管軍隊的管理和訓練，但是沒有調遣軍隊的權力。這樣，軍權就集中在了太祖手裡。
明初中書省負責處理天下政務，地位最高。長官分爲左、右丞相，位高權重。在明朝開國元勛里，武臣功勞最大的要數徐達和常遇春，文臣則數李善長和劉伯溫。劉伯溫知道太祖的個性，所以加官晉爵一概推辭不受。李善長則做了右丞相，晉爵韓國公。
日子長了，李善長有些恃寵而驕，太祖便有意將他換掉，劉伯溫勸他說：「李善長資歷最老，能服衆，不應輕易換掉他。」
太祖說：「李善長經常揭你的短，你還要替他說情嗎？朕就讓你來做右丞相。」
劉伯溫低下頭，說：「這就像要換大堂里的柱子，一定要用大木材，如果用小木材，不是木折就是房屋倒塌，臣就是小材，怎麼能做丞相呢？」
太祖說：「那楊憲怎麼樣？」
劉伯溫回答說：「楊憲有丞相之才，沒有做丞相的器量。」
太祖又問：「汪廣洋呢？」
劉伯溫又說：「他的器量還不如楊憲。」
太祖又問胡惟庸，劉伯溫連連搖頭說：「不行不行，小人物一經重用一定心比天高，如果用他的話恐怕會招來禍端。」太祖只好默不作聲了。
後來楊憲犯了誣陷罪被正法，李善長辭去了丞相一職，太祖竟然任用汪廣洋爲右丞相、胡惟庸爲左丞相。
汪廣洋在位的兩年裡，庸庸碌碌毫無建樹。而胡惟庸不但狡黠多端，還很會奉承太祖，漸漸地太祖對他更加寵信了。後來太祖乾脆罷免了汪廣洋的右丞相一職，改任胡惟庸。
劉伯溫感嘆道：「胡惟庸得志，一定會是百姓的禍害啊。希望我的話沒有應驗，那就是百姓之福了。」這話被胡惟庸知道後，一直懷恨在心。他有次唆使刑部尚書吳雲彈劾劉伯溫，誣陷他想在有王氣的地方建墓，圖謀不軌，應該加以重罰。太祖似信非信，但還是扣除了劉伯溫的俸祿。
劉伯溫憂憤成疾，在服下幾服藥後反而覺得更不適了，後來竟然不能進食，沒過多久就不行了。太祖派人將劉伯溫護送回青田，一個多月後劉伯溫就逝世了。
後來胡惟庸伏法被徹查的時候，太祖才知道劉伯溫原來是被胡惟庸給毒死的，不禁感到無比痛惜，無奈木已成舟，就是後悔也來不及了。
胡惟庸除掉劉伯溫後更加肆無忌憚，簡直是爲所欲爲。
魏國公徐達密奏太祖，說胡惟庸是奸人，太祖沒說什麼，卻不知怎麼被胡惟庸知道了，於是又記恨上了徐達。
胡惟庸本想勾結徐達身邊的人暗害他家主子，結果弄巧成拙被徐達知道了他的陰謀，嚇得慌了好幾天，幸好沒有什麼風聲，這才放下心來。小人就是這樣。一計不成又生一計，胡惟庸把侄女嫁給了李善長的侄子，和李善長結成了親家。李善長雖然已經不做丞相了，但仍然得寵，有時出入宮中，免不了替胡惟庸說幾句好話。胡惟庸有了李善長這座大靠山，又漸漸驕縱起來。
這時候，胡惟庸的老家定遠舊宅里的井中忽然長出了竹筍，高達數尺，一些趨炎附勢的門客都說這是瑞兆。又有人傳說，胡家的祖墳上每天晚上都亮著紅光。胡惟庸聽到這些消息，更加自負。
後來，德慶侯廖永忠不慎僭越了身份，太祖便指責他悖逆，賜他自盡了。又有平遙訓導葉伯巨上書說，太祖分封的賞賜太過奢侈，刑罰太複雜，吏治有些急於求成。這些也都觸怒了太祖，葉伯巨的下場自然也很慘。這兩件事過後，朝中的大小官員都開始人人自危了起來。
安吉侯陸仲亨和平涼侯費聚都遭到了太祖的嚴厲斥責。兩人心裡忐忑不安。胡惟庸於是就乘機勾結他們，將他們變爲自己的羽翼，讓他們在外面招兵買馬。隨後又悄悄勾結了御史中丞陳寧，私自翻閱了兵籍，廣招天下的勇夫做自己的護衛，並將那些亡命之徒收攏來做自己的心腹。後來，胡惟庸又托親家李存義試著說服他的哥哥李善長謀逆。李善長起初大驚失色，根本不敢想這種株連九族的事情。後來經李存義再三提及，李善長開始有些動搖，不再那麼反對，變得模稜兩可。
胡惟庸見李善長沒有反對，以爲大事可成，立即派遣明州衛指揮林賢下海招來倭寇，又派元朝舊臣封績寫信給北邊的元帝，請他做外應。真是喪心病狂。
胡惟庸正在日夜謀劃著叛變，忽然聽到了汪廣洋被賜死一事，形勢突然變得緊迫了起來。原來，汪廣洋被罷相之後，胡惟庸又將他引薦，讓他繼續做丞相，這些年胡惟庸那些不法的行爲汪廣洋雖然知道但是都沒有說。後來御史中丞塗節上書太祖，說劉伯溫是被毒害而死，汪廣洋知情不報。太祖於是判汪廣洋欺君，將他貶到雲南，不久又下詔賜死。胡惟庸害怕東窗事發，就一面賄賂塗節，一面繼續勾結日本倭寇準備謀反。
洪武十三年正月，胡惟庸上奏太祖，謊稱自家宅子的井裡出現甘泉，邀太祖前去。太祖信以爲真，下令移駕胡惟庸府上，一行人剛走出西華門，這時，內使雲奇突然衝上前來攔在隊伍前面，好像有話要說，卻又發不出聲。太祖以爲他故意不敬，讓左右將他拖下去痛打。雲奇右臂被打折，奄奄一息的時候卻仍用手指著胡惟庸府邸的方向。太祖這才明白過來，忙返回城內登上城樓一看，只見胡惟庸的府里戒備森嚴，站著許多人馬，太祖方才知道胡惟庸想要謀逆，於是立刻派出羽林軍前去抓捕。
塗節得知消息後，爲了避免大禍臨頭，就想出一個辦法替自己脫罪。他急忙跑去稟告太祖，說胡惟庸準備謀逆犯上。話沒說完，羽林軍就已經將胡惟庸綁來了。太祖親自審訊他，但胡惟庸一開始還不肯承認，後經塗節作證，方才供認不諱，太祖於是下令將胡惟庸拖出去凌遲處死。真是：
怪底人君好信諛，
怕聞吁咈喜都俞。
佞臣多是蒼生蠹，
磔死吳門未蔽辜。
田興不肯留在京都，蔡子英一臣不事二主，伯顏子中坦然自裁，這些仁人義士的所作所爲都值得表揚。只是伯顏子中的七章詩歌已經無從搜集了，真是可惜。明太祖的微服出行在正史中沒有記錄，只在野史中提到過。他喜歡聽阿諛奉承的好話，所以楊憲、汪廣洋、胡惟庸等人才有機會登上大堂，雖然後來都依法處置了，但他們給社稷仍然帶來不少危害。劉伯溫雖然有先見之明，還是躲不過被毒害的命運，不能跟小人一起共事就是這個道理。