國淵年少時曾師從事奉鄭玄。後來與邴原、管寧等人到遼東郡躲避兵亂。返回故鄉以後，被曹操徵召任司空掾屬，每次在曹公府上議論政事，常常正色直言，謙讓無私。曹操想廣泛地興辦屯田，讓國淵主持這項事務。國淵屢次陳述應當增減的項目，考察土地，安置民眾，計算百姓數量，設置官吏，明確考核的辦法，五年的時間裡，就使糧倉豐實，百姓競相勉勵，樂於這項事業。
治理地方
曹操征討關中，讓國淵任居府長史，主管留守事宜。田銀、蘇伯在河間縣謀反，田銀等人失敗後有許多餘黨，都應該依法治罪，國淵認為這些人不是首惡分子，請求不對他們執行死刑，曹操聽從了他的意見。依賴國淵這個建議得以活命的有一千多人。寫戰勝賊兵的文書，舊例往往誇大，以一為十，到了國淵上報斬殺首級數量的時候，實有多少就報多少。曹操詢問他這樣做的原因，國淵說：「在征討境外敵寇時，多報斬首捕獲士兵數量的人，是想要誇大戰績，並且用來顯示給百姓去看、去聽。而河間在我們境域之內，田銀等人叛逆，雖然戰勝他們是有功的，但國淵私下裡仍為這事感到恥辱。」曹操很高興，提升國淵為魏郡太守。
當時有人寫匿名信誹謗別人，曹操痛恨這種行為，想知道寫信人是誰。國淵請示把原信留下，而不把它宣揚洩露出去。原信很多地方引用了《二京賦》的內容，國淵囑咐功曹說：「這個郡很大，現在雖是首都，卻少有喜好學問的人。這封信頗能開導啟發年輕人，我想要派人去拜師學習。」功曹派遣了三個人，國淵在派遣前先召見了他們，教訓說：「你們所學的東西還不廣泛，《二京賦》是有關博物的書籍，世上人忽略了它，很少有能講解它的老師，你們可以去找尋能讀懂它的人，向他請教。」又秘密地告訴他們自己的意圖。幾天就找到了能讀《二京賦》的人，三人就去拜師。跟著請那個人寫了一紙箋書，與那封信一比較，與寫信的人是一種筆跡，隨即把那人拘捕審問，得到了全部事情真相。曹操提升國淵為太僕。
去世
國淵雖居於列卿之位，但是仍穿布衣吃素食，把俸祿賞賜都分給親朋故舊，自己卻保持著謙恭節儉，最後死在官任上。
歷史評價
陳壽：「袁渙、邴原、張范躬履清蹈，進退以道，蓋是貢禹、兩龔之匹。涼茂、國淵亦其次也。」
鄭玄：「國子尼，美才也，吾觀其人，必為國器。」
《魏書》：「淵篤學好古，在遼東，常講學於山巖，士人多推慕之，由此知名。」