滕胤的伯父滕耽以及父亲滕胄南渡江南后，依附家族世交、扬州刺史刘繇。二人后来入仕孙权，滕耽官至右司马，滕胄也因善于文笔，受孙权敬待，但可惜两人都是早年亡故。滕胤年十二，便已痛失父伯，孤单一身，但他始终能坚持治身厉行。
黄初二年（221年），孙权称吴王后，因为他们二人的恩情，而封滕胤为都亭侯。滕胤为人白晳，仪表不凡，相貌堂堂。滕胤每逢正朔之日入宫朝贺觐见，朝堂上的大臣见到后，无不对其大加赞赏，受到当时很多人赏识。
孙权曾问诸葛恪：“你比滕胤如何？”诸葛恪便开玩笑答道：“在朝堂之上，举止得当，礼节周全，受人赞赏，臣的确不如滕胤；但要论运筹帷幄，决胜千里，滕胤就比不上臣了。”
滕胤成年后，迎娶了公主，孙权十分看重滕胤，甚至因此而增加对公主赏赐，几次看望公主夫妇。三十岁时，滕胤担任丹杨太守，后又担任过吴郡和会稽太守。滕胤经常上表陈述自己的施政主张，反映民间的风气优劣，对国家政策多有匡弼。但滕胤没有因此志得意满，他得到的恩宠越多，担任职位越高，越发谨慎小心，谦卑待下。滕胤每次主持诉讼及断罪时都对与讼者观言察色，务求判决合符情理。所以人民每有冤情都会向他申诉，每到一处都享有声望。
黄龙元年（229年），孙权登基称帝，滕胤受命与张昭、孙绍、郑礼等，仿效周、汉旧制，撰定吴国的朝仪制度。孙和被立为太子后，鲁王孙霸意图争夺太子之位，于是朝臣乃至于地方官僚逐渐分裂为支持太子或者鲁王两派。丞相陆逊、大将军诸葛恪、太常顾谭、骠骑将军朱据、会稽太守滕胤、大都督施绩、尚书丁密等支持太子孙和，骠骑将军步骘、镇南将军吕岱、大司马全琮、左将军吕据、中书令孙弘等依附鲁王孙霸，两派势同水火，争夺不止，使得吴国几乎陷入政治危机。
太元元年（251年），吴大帝病重，召滕胤到建业留任太常。太元二年（252年），孙权驾崩，滕胤与太子太傅诸葛恪、少傅孙弘、荡魏将军吕据、侍中孙峻等人一同受遗诏辅政。太子孙亮即位后加滕胤为卫将军。同年，曹魏进攻东兴，诸葛恪等领军成功地击退曹魏的入侵，诸葛恪此后便有轻敌之心，开始打算攻打曹魏。
建兴元年（252年），会稽王孙亮登相位，加卫将军，领尚书事。
建兴二年（253年），诸葛恪贸然违众出兵，大发州郡二十万众北伐曹魏，百姓骚动，人心不安，滕胤劝谏他说：“您在先帝去世新君继位时，接受了伊尹、霍光一样的重托，入则安定本国朝政，出则摧毁强大外敌，名声传扬全国，天下无不震动，百姓的心愿，期望得以依赖您而安宁。如今在大兴劳役之后，兴师出征，百姓疲惫、国力亏虚，远方国家的君主有所防备，如果攻城而不能克，野战而无所获，这就会丧失以前的功绩而招致以后的责备。不如按兵息师，伺机而行。况且出兵作战是重大事情，此事要靠大众才能成功，众人如果不高兴，您岂得独自安心？”诸葛恪说：“大家说不可出兵，是他们都无计虑，心怀苟且偷安的思想，而您也认为他们是对的，我还有什么指望？因为曹芳昏聩无能，而他的政权被控制在臣下手中，他的臣民本就怀有离心。如今我利用国家的力量，凭借战胜的威势，则所向之处哪能不获胜？”
由于滕胤与诸葛恪是儿女亲家（滕胤之女嫁与诸葛恪之子诸葛竦为妻），因此诸葛恪出征后又命滕胤为都下督，负责掌管国内一切事务。滕胤遂日夜勤劳工作，甚至整晚都不睡觉，所有表奏书疏，他都亲自批阅处理，从不随意交给属下代办。后来诸葛恪北伐失利，声望大跌。同年冬，吴主孙亮与武卫将军孙峻商议准备在诸葛恪入宫觐见时趁机杀之。散骑常侍张约、朱恩等密书给诸葛恪，劝其注意提防。诸葛恪犹豫不定，在宫门前遇见滕胤。滕胤因不知孙峻阴计，劝其入宫朝见。诸葛恪将密书给滕胤看后，滕胤于是马上劝其暂且回府。诸葛恪认为孙峻最多只能在酒食中下毒而已，因此自带酒水进入，后果然被杀。
诸葛恪被杀后，孙峻开始专政，群臣上奏推举孙峻为太尉，滕胤为司徒，但有意图讨好孙峻的官员以“大统宜在公族，若滕胤为亚公，声名素重，众心所附”，将使朝政分化为由而反对，最终孙峻升任丞相，却没有让滕胤担任御史大夫，一众士人皆感到失望。滕胤也以自己是诸葛恪的姻亲为由请求辞职，但被孙峻挽留，更为滕胤进爵高密侯。虽然二人事实上关系并不融洽，但始终表现得互相包容，继续共事。后来孙峻想要在边境广陵地界城防，朝臣都认为那里难以建城，但因畏惧孙峻而不敢劝谏。只有滕胤一人表示反对，但孙峻不听从，最终城池果然没有建成。
五凤三年（256年），孙峻在北伐曹魏途中亡故，其从弟、年仅26岁的偏将军孙綝把持了朝政。原本吴国众臣就对孙峻以宗室身份独揽大权以及作恶多端而不满，因此不希望再看到同为皇亲宗室的孙綝继续垄断朝廷大权。滕胤的连襟骠骑将军吕据联络北伐前线诸将上书推荐滕胤为丞相，希望以此分割孙綝的权力，防止他擅权专政。但孙綝则任命滕胤为大司马，代替不久前逝世的吕岱镇守武昌。吕据于是率军返回，派人通知滕胤，密谋推翻孙綝。孙綝知道后，一方面派兵攻击吕据，另外派遗侍中左将军华融，中书丞丁晏要滕胤立刻出发捉拿吕据。滕胤见状，立刻拥兵自卫，并向典军杨崇及羽林督孙咨说是孙綝作乱，逼华融等人作书驳斥孙綝。孙綝则上表说滕胤造反，派将军刘丞派兵围困滕胤。滕胤于是逼迫华融、孙咨等人矫诏发兵协助自己，华融等因不从而被杀。