滕胤的伯父滕耽以及父親滕胄南渡江南後，依附家族世交、揚州刺史劉繇。二人後來入仕孫權，滕耽官至右司馬，滕胄也因善於文筆，受孫權敬待，但可惜兩人都是早年亡故。滕胤年十二，便已痛失父伯，孤單一身，但他始終能堅持治身厲行。
黃初二年(221年)，孫權稱吳王后，因為他們二人的恩情，而封滕胤為都亭侯。滕胤為人白晰，儀表不凡，相貌堂堂。滕胤每逢正朔之日入宮朝賀覲見，朝堂上的大臣見到後，無不對其大加讚賞，受到當時很多人賞識。
孫權曾問諸葛恪：「你比滕胤如何?」諸葛恪便開玩笑答道：「在朝堂之上，舉止得當，禮節周全，受人讚賞，臣的確不如滕胤;但要論運籌帷幄，決勝千里，滕胤就比不上臣了。」
匡弼朝政
滕胤成年後，迎娶了公主，孫權十分看重滕胤，甚至因此而增加對公主賞賜，幾次看望公主夫婦。三十歲時，滕胤擔任丹楊太守，後又擔任過吳郡和會稽太守。滕胤經常上表陳述自己的施政主張，反映民間的風氣優劣，對國家政策多有匡弼。但滕胤沒有因此志得意滿，他得到的恩寵越多，擔任職位越高，越發謹慎小心，謙卑待下。滕胤每次主持訴訟及斷罪時都對與訟者觀言察色，務求判決合符情理。 [4] 所以人民每有冤情都會向他申訴，每到一處都享有聲望。
黃龍元年(229年)，孫權登基稱帝，滕胤受命與張昭、孫紹、鄭禮等，倣傚周、漢舊制，撰定吳國的朝儀制度。孫和被立為太子後，魯王孫霸意圖爭奪太子之位，於是朝臣乃至於地方官僚逐漸分裂為支持太子或者魯王兩派。丞相陸遜、大將軍諸葛恪、太常顧譚、驃騎將軍朱據、會稽太守滕胤、大都督施績、尚書丁密等支持太子孫和，驃騎將軍步騭、鎮南將軍呂岱、大司馬全琮、左將軍呂據、中書令孫弘等依附魯王孫霸，兩派勢同水火，爭奪不止，使得吳國幾乎陷入政治危機。
受詔輔政
太元元年(251年)，吳大帝病重，召滕胤到建業留任太常。太元二年(252年)，孫權駕崩，滕胤與太子太傅諸葛恪、少傅孫弘、蕩魏將軍呂據、侍中孫峻等人一同受遺詔輔政。太子孫亮即位後加滕胤為衛將軍。同年，曹魏進攻東興，諸葛恪等領軍成功地擊退曹魏的入侵，諸葛恪此後便有輕敵之心，開始打算攻打曹魏。
建興二年(253年)，諸葛恪貿然違眾出兵，大發州郡二十萬眾北伐曹魏，百姓騷動，人心不安，滕胤勸諫他說：「您在先帝去世新君繼位時，接受了伊尹、霍光一樣的重托，入則安定本國朝政，出則摧毀強大外敵，名聲傳揚全國，天下無不震動，百姓的心願，期望得以依賴您而安寧。如今在大興勞役之後，興師出征，百姓疲憊、國力虧虛，遠方國家的君主有所防備，如果攻城而不能克，野戰而無所獲，這就會喪失以前的功績而招致以後的責備。不如按兵息師，伺機而行。況且出兵作戰是重大事情，此事要靠大眾才能成功，眾人如果不高興，您豈得獨自安心?」諸葛恪說：「大家說不可出兵，是他們都無計慮，心懷苟且偷安的思想，而您也認為他們是對的，我還有什麼指望?因為曹芳昏聵無能，而他的政權被控制在臣下手中，他的臣民本就懷有離心。如今我利用國家的力量，憑借戰勝的威勢，則所向之處哪能不獲勝?」
由於滕胤與諸葛恪是兒女親家(滕胤之女嫁與諸葛恪之子諸葛竦為妻)，因此諸葛恪出征後又命滕胤為都下督，負責掌管國內一切事務。滕胤遂日夜勤勞工作，甚至整晚都不睡覺，所有表奏書疏，他都親自批閱處理，從不隨意交給屬下代辦。後來諸葛恪北伐失利，聲望大跌。同年冬，吳主孫亮與武衛將軍孫峻商議準備在諸葛恪入宮覲見時趁機殺之。散騎常侍張約、朱恩等密書給諸葛恪，勸其注意提防。諸葛恪猶豫不定，在宮門前遇見滕胤。滕胤因不知孫峻陰計，勸其入宮朝見。諸葛恪將密書給滕胤看後，滕胤於是馬上勸其暫且回府。諸葛恪認為孫峻最多只能在酒食中下毒而已，因此自帶酒水進入，後果然被殺。
共事如前
諸葛恪被殺後，孫峻開始專政，群臣上奏推舉孫峻為太尉，滕胤為司徒，但有意圖討好孫峻的官員以「大統宜在公族，若滕胤為亞公，聲名素重，眾心所附」，將使朝政分化為由而反對，最終孫峻升任丞相，卻沒有讓滕胤擔任御史大夫，一眾士人皆感到失望。滕胤也以自己是諸葛恪的姻親為由請求辭職，但被孫峻挽留，更為滕胤進爵高密侯。雖然二人事實上關係並不融洽，但始終表現得互相包容，繼續共事。後來孫峻想要在邊境廣陵地界城防，朝臣都認為那裡難以建城，但因畏懼孫峻而不敢勸諫。只有滕胤一人表示反對，但孫峻不聽從，最終城池果然沒有建成。
五鳳三年(256年)，孫峻在北伐曹魏途中亡故，其從弟、年僅26歲的偏將軍孫綝把持了朝政。原本吳國眾臣就對孫峻以宗室身份獨攬大權以及作惡多端而不滿，因此不希望再看到同為皇親宗室的孫綝繼續壟斷朝廷大權。滕胤的連襟驃騎將軍呂據聯絡北伐前線諸將上書推薦滕胤為丞相，希望以此分割孫綝的權力，防止他擅權專政。但孫綝則任命滕胤為大司馬，代替不久前逝世的呂岱鎮守武昌。呂據於是率軍返回，派人通知滕胤，密謀推翻孫綝。孫綝知道後，一方面派兵攻擊呂據，另外派遺侍中左將軍華融，中書丞丁晏要滕胤立刻出發捉拿呂據。滕胤見狀，立刻擁兵自衛，並向典軍楊崇及羽林督孫咨說是孫綝作亂，逼華融等人作書駁斥孫綝。孫綝則上表說滕胤造反，派將軍劉丞派兵圍困滕胤。滕胤於是逼迫華融、孫咨等人矯詔發兵協助自己，華融等因不從而被殺。
慘遭滅族
滕胤以為呂據會依期與他會合，於是繼續等待，其間面色不變，談笑如常。當時有部下勸說滕胤引兵進攻皇宮的蒼龍門，駐守皇宮的禁軍將士見到滕胤後，必定離開孫綝而聽從滕胤的調遣，滕胤便可入據皇宮，以皇帝的名義下詔誅殺孫綝。但滕胤不敢輕易舉兵包圍皇宮，又仗著與呂據會依約前來支援，於是命令部下繼續堅守。不久後呂據兵敗自盡，孫綝集結軍隊向滕胤進攻。滕胤及其他將士等數十人戰敗被殺，其後孫綝下令誅滅了滕胤、呂據的三族。其妻兄鎮軍將軍孫壹當時假節駐守夏口，因畏懼受牽連治罪而率部曲千餘口逃奔曹魏。直到孫休即位誅殺孫綝後，下詔說：「諸葛恪、滕胤與呂據原來是無罪，而是受到孫峻與孫綝兄弟所殘害，我為此感到痛心，希望都能為他們改葬，並加以祭祀。因為他們而牽連被流放者，都可以回來。」滕胤家族才得到平反。