杨阜，字义山，是天水冀县人。《魏略》记载，杨阜年轻时与同郡的尹奉（字次曾）和赵昂（字伟章）一同崭露头角，三人一起担任凉州从事。后来，杨阜作为州从事，被牧韦端派往许昌，被任命为安定长史。杨阜完成使命返回时，关右的将领们向他询问袁绍和曹操谁胜谁负，杨阜说：“袁绍为人宽厚但优柔寡断，喜欢谋划但少有决断；优柔寡断就没有威严，少有决断就会错失良机。如今他虽然势力强大，但终究不能成就大业。曹操有雄才大略，决策果断，法令统一，军队精锐，善于任用有才能的人，所任用的人都能尽心尽力，他一定能成就大事。”杨阜并不喜欢长史这个职位，于是辞去官职。后来，韦端被征召为太仆，他的儿子韦康接替他担任刺史，征召杨阜为别驾。杨阜被举荐为孝廉，又被征召到丞相府，但州里上表请求留下他，让他参与军事谋划。
马超在渭南战败后，逃到羌人部落中避难。曹操追击到安定，但此时苏伯在河间反叛，曹操准备率军东归。杨阜当时正在奉命出使，他对曹操说：“马超有韩信、吕布的勇猛，深得羌人和胡人的拥戴，西州的人都很畏惧他。如果大军撤退，不做好充分的防备，陇上的各郡县将不再属于国家所有。”曹操认为杨阜说得有道理，但军队仓促撤退，防备不够周密。马超果然率领羌人和胡人的首领进攻陇上的郡县，陇上的郡县都纷纷响应马超，只有冀城在坚守州郡的命令，坚决抵抗。马超集结了陇右的全部兵力，并且得到了张鲁派来的大将杨昂的援助，总兵力达到一万多人，开始围攻冀城。
杨阜率领城中的士大夫和宗族子弟中能够作战的一千多人，让堂弟杨岳在城上修筑偃月形的营垒，与马超交战。从正月到八月，他们一直坚守城池，但援军始终没有到来。州里派遣别驾阎温沿着河流潜出城去求救，却被马超杀害。于是刺史和太守惊慌失措，开始有了投降马超的打算。杨阜流着泪劝谏说：“我们率领父兄子弟，以大义相互勉励，宁死不屈。我们的坚守并不比田单守即墨差。放弃即将取得的胜利，陷入不义的名声，我宁愿以死相守。”说完就放声大哭。但刺史和太守最终还是派人向马超求和，打开城门迎接马超。马超进城后，把杨岳拘禁起来，让杨昂杀死了刺史和太守。
杨阜内心有报复马超的想法，但一直苦于没有机会。不久，杨阜因为妻子去世，请求假期去安葬她。杨阜的表兄姜叙驻扎在历城。杨阜从小在姜叙家长大，他去见姜叙的母亲和姜叙，说起以前在冀城时的事情，悲痛不已。姜叙问：“你为什么这么悲伤？”杨阜说：“我守城没有守住，长官死了我没有殉职，还有什么脸面活在这个世上！马超背叛父亲，背叛君主，残忍地杀害州将，这不仅仅是我的忧愁和责任，整个州的士大夫都蒙受了他的耻辱。你拥有兵权却毫无讨伐叛贼之心，这就是赵盾被记载为弑君的原因。马超势力强大但不讲道义，他的内部矛盾很多，容易对付。”
姜叙的母亲听了后慷慨激昂，命令姜叙听从杨阜的计策。计划确定后，杨阜又与同乡姜隐、赵昂、尹奉、姚琼、孔信、武都人李俊、王灵等人密谋，制定了讨伐马超的计划，并派堂弟杨谟到冀城告诉杨岳，同时联合安定的梁宽、南安的赵衢、庞恭等人。计划明确后，建安十七年九月，杨阜与姜叙在卤城起兵。马超听说杨阜等人起兵，亲自率军出战。而赵衢、梁宽等人解救了杨岳，关闭冀城城门，讨伐马超的妻子和儿子。马超偷袭历城，抓到了姜叙的母亲。姜叙的母亲痛骂他：“你这个背叛父亲的逆子，杀害君主的恶贼，天地岂能长久容你，你怎么还不早点死，竟敢厚着脸皮见人！”马超大怒，杀了她。杨阜与马超交战，身上五处受伤，宗族兄弟死了七人。马超最终向南投奔了张鲁。
在陇右地区平定之后，曹操为了表彰在讨伐马超战役中的功绩，共封了十一位侯爵，杨阜也被赐予关内侯的爵位。然而，杨阜却谦虚地推辞说：“我在君主活着的时候没有扞卫国家的功劳，在君主去世时也没有以死明志的表现。从道义上讲，我应该被贬斥；从法律上讲，我应该被诛杀。马超还没有死，我不应该无端地接受爵位和俸禄。” 曹操回复他：“你和众多贤才共同建立了伟大的功勋，西部地区的人们都传颂着你们的事迹。当年子贡辞让赏赐，孔子认为这是阻止善行的表现。你应该敞开心扉，接受国家的封赏。姜叙的母亲劝说姜叙早日行动，她的智慧和勇气堪称典范，即使是杨敞的妻子也比不上她。她真是贤德啊！优秀的史官一定会记录下她的事迹，这些记录绝不会被遗忘。”
皇甫谧在《列女传》中提到：姜叙的母亲是天水姜伯奕的母亲。建安年间，马超攻打冀城，杀害了凉州刺史韦康。州里的百姓都感到非常悲痛和愤怒。姜叙当时担任抚夷将军，他拥有重兵，驻扎在历城。姜叙的表侄杨阜，曾经是韦康的部下，他和十多个志同道合的人，都被马超控制，但他们暗中联合起来，计划为韦康报仇，只是苦于没有机会。恰巧杨阜的妻子去世，他向马超请假回家安葬妻子，顺便去拜访姜叙的母亲，向她讲述了韦康被害和冀城的灾难，两人相对而泣，悲痛不已。姜叙全家都深感悲痛，姜叙的母亲说：“哎呀，伯奕啊！韦使君遇难，这不仅是整个州的耻辱，也是你的责任，难道只是义山（杨阜）的责任吗？你不要顾虑我，拖延时间会生变故。人谁能不死呢？为国家而死，是最大的忠义。你应该尽快行动，我会为你承担后果，不会用我的余生来拖累你。”
于是她命令姜叙和杨阜共同商议行动计划，姜叙答应了，他们分别派人通知乡里的尹奉、赵昂以及安定的梁宽等人，让他们先起兵反叛马超。马超得知后，必定会亲自来攻打姜叙，梁宽等人趁机从后面关闭城门。计划确定后，姜叙就率军进入卤城，赵昂、尹奉则驻守祁山。马超听说后，果然亲自出兵攻打姜叙，梁宽等人趁机从后面关闭了冀城的城门，马超失去了依靠。马超路过卤城时，姜叙正在那里驻守。马超又进军到历城，历城的人们看到马超来了，以为是姜叙的军队回来了。又听说马超已经逃往汉中，所以历城没有任何防备。等到马超进入历城，抓住了姜叙的母亲，姜叙的母亲愤怒地痛骂马超。马超被骂得大怒，立刻杀死了姜叙的母亲和她的儿子，然后放火烧毁了历城，扬长而去。杨阜等人把事情的经过上报给朝廷，曹操非常赞赏他们的行为，亲自写信褒扬他们，具体内容就像本传所记载的那样。
臣裴松之认为：皇甫谧称杨阜是姜叙的表侄，而本传却说姜叙是杨阜的表兄，这与现在的称呼内外有别。皇甫谧还记载了赵昂的妻子的事迹：赵昂的妻子名叫赵异，是已故益州刺史天水赵伟璋的妻子，也是王氏的女儿。赵昂担任羌道令时，把赵异留在了西城。正巧同郡的梁双造反，攻破了西城，杀害了赵异的两个儿子。赵异的女儿赵英，当时只有六岁，独自和赵异留在城中。赵异看到两个儿子已经死去，又担心被梁双侵犯，就拿起刀想要自杀，但看到女儿赵英，她叹了口气说：“我死了你怎么办呢？谁来照顾你呢？我听说西施如果穿着不干净的衣服，人们也会捂着鼻子躲避，何况我的容貌不如西施呢？”于是她用粪便涂抹在麻布上，披在身上，减少饮食，使自己变得消瘦，从春天一直到冬天。
后来梁双与州郡和解，赵异最终因此免遭灾难。赵昂派官吏去接她，离家还有三十里路时，赵异停下脚步，对女儿赵英说：“妇人如果没有符信和保傅，就不能走出闺房。昭姜被沉入水中，伯姬等待被火烧死，每次读到她们的传记，我都非常钦佩她们的节操。如今我遭遇战乱却不能死去，我还有什么脸面去见各位姑姑呢？我之所以苟且偷生，只是因为可怜你罢了。如今官舍已经近在咫尺，我只能和你死别了。”说完就喝下了毒药。幸好当时有解毒药的良方，人们撬开她的嘴，灌下解药，过了很久她才苏醒过来。建安年间，赵昂转任参军事，迁居到冀城。正巧马超攻打冀城，赵异亲自穿上布鞋，协助赵昂防守，又把自己佩戴的首饰全部脱下来，赏给战士们。等到马超进攻得更加猛烈时，城中的人们又饿又困，刺史韦康平素仁爱，不忍心看到官吏和百姓受到伤害，就想要和马超讲和。
赵昂劝谏他，但他没有听从，赵昂回家后把这件事告诉了赵异，赵异说：“君主有直言劝谏的大臣，大夫有独断专行的道理；独断专行并不是错误的。怎么知道救兵不会来到关陇呢？我们应该努力完成伟大的功勋，保全节操，以死相拼，不能听从他的意见。”等到赵昂回去时，韦康已经和马超讲和了。马超背弃了盟约，杀害了韦康，又胁迫赵昂，把他的嫡长子赵月作为人质带到南郑。他想要利用赵昂为自己效力，但心里并不完全信任他。马超的妻子杨氏听说了赵异的节操和品行，就请她赴宴，两人一直谈到深夜。赵异想要让赵昂在马超那里取得信任，以便实现他们的计划，就对杨氏说：“当年管仲来到齐国，建立了九合诸侯的功勋；由余来到秦国，帮助秦穆公成就了霸业。如今国家刚刚安定，治理乱世的关键在于得到人才，凉州的兵马足以和中原地区一争高下，不能不仔细考虑。”
杨氏深受感动，认为赵异对自己非常忠诚，于是和她结成了深厚的友谊。赵昂能够在马超那里取得信任，最终保全了功绩，免除了灾祸，这都是赵异的功劳。等到赵昂和杨阜等人联合谋划讨伐马超时，赵异对赵昂说：“我已经想好了计划，事情一定会万无一失，但我们的儿子赵月该怎么办呢？”赵异大声回答说：“忠义是立身之本，为君父洗刷奇耻大辱，失去生命也不足为重，何况只是一个儿子呢？项讬、颜渊难道能活一百年吗？他们看重的是义气啊。”赵昂说：“好。”于是他们一起关闭城门，驱逐马超。马超逃往汉中，从张鲁那里得到兵马后又返回来。赵异又和赵昂一起坚守祁山，被马超围困，三十天后救兵赶到，才解了围。马超最终还是杀害了赵异的儿子赵月。从冀城之难开始，一直到祁山之战，赵昂多次出谋划策，赵异都参与其中。
曹操征讨汉中时，任命杨阜为益州刺史。后来，杨阜又被任命为金城太守，但在他尚未出发时，又被调任为武都太守。武都靠近蜀汉，杨阜请求按照龚遂的先例，采取安抚政策来治理。恰逢刘备派遣张飞、马超等人从沮道向南进军，直逼下辩，同时氐族的雷定等七个部落，共一万多人响应刘备。曹操派遣都护曹洪抵御马超等人，马超等人最终撤退。曹洪在庆功宴上，安排女乐手穿着轻薄的罗縠衣跳舞，整个宴会上的人都在欢笑。杨阜却严厉地斥责曹洪说：“男女有别，这是国家的基本礼仪。怎么能在大庭广众之下裸露女人的身体呢？即使是夏桀、商纣的暴政，也不过如此。”说完，杨阜愤然离席。曹洪立刻停止了女乐表演，恭敬地请杨阜重新入座，对他十分敬畏。
刘备攻取汉中后，进一步逼近下辩。曹操认为武都地理位置偏远，想要迁移百姓，但又担心百姓眷恋故土。杨阜在百姓中素有威望，他先后迁移了上万户百姓和氐族人，安置在京兆、扶风、天水等地。他将郡治迁至小槐里，百姓们背着孩子跟随他迁移。杨阜治理地方只抓大方向，百姓们不忍心欺骗他。文帝曾问侍中刘晔等人：“武都太守是个什么样的人？”大家都称赞杨阜有宰相的风范。杨阜还没来得及被重用，文帝就驾崩了。杨阜在武都太守的职位上任职十多年后，被征召为城门校尉。杨阜曾看到明帝穿着绣花的头巾，披着半袖的缥绫，就问明帝：“这在礼仪上是什么样的服装呢？”明帝无言以对，从此不再穿着不符合礼仪的服装接见杨阜。
杨阜后来升任将作大匠。当时，朝廷刚开始修建宫殿，征召了许多美女充实后宫，明帝还经常外出打猎。秋天，大雨伴随着雷电，许多鸟雀被击毙。杨阜上疏说：“我听说贤明的君主在位，臣子们都会直言进谏。尧、舜有圣德，还广泛征求臣民的意见；大禹勤于治水，却力求宫殿简朴；成汤遇到旱灾，主动承担责任；周文王以身作则，治理国家；汉文帝亲自践行节俭，衣服都十分简朴：这些都是能够显扬美名、为子孙后代谋划的好榜样。陛下继承了武皇帝开创的大业，守护着文皇帝的基业，应该学习古代圣贤的善政，反思末世的恶政。所谓善政，就是节俭、重视民力；所谓恶政，就是随心所欲、为所欲为。希望陛下回顾古代盛世之所以兴盛，以及末世之所以衰败的原因，近观汉末的变乱，足以让人警醒。如果当年桓帝、灵帝不废弃高祖的法令，像文帝、景帝那样节俭，太祖虽然有神武之才，又怎么能施展呢？陛下又怎么能处于如此尊贵的地位呢？
如今吴、蜀尚未平定，军队还在征战，希望陛下三思而后行，谨慎行事，以史为鉴，防微杜渐。最近天降大雨，雷电频繁，这是天地神明对帝王的警示。陛下应该自我反省，古代圣人早就告诫过我们。希望陛下在无形的隐患之外考虑问题，在微小的萌芽之初就谨慎对待，效仿汉文帝遣散宫女，让她们自行婚配。最近征调的宫女，名声不好，应该重新考虑。各种修建工程，务必节俭。《尚书》说：‘九族和睦，天下协和。’凡事都要考虑得当，遵循中道，精心谋划，节省开支。等到吴、蜀平定后，上下安乐，九族和睦。陛下如果能这样去做，祖先也会感到欣慰，即使是尧舜也会感到惭愧。如今应该向天下展示诚信，安定百姓，让远方的人归心。”当时，雍丘王曹植因为不受重用而心怀怨恨，作为皇室至亲，法禁十分严格，所以杨阜又提到了九族和睦的道理。明帝下诏回复说：“我刚刚收到你的密表，先是用古代贤明的君主来讽刺我昏庸的政事，言辞恳切，态度诚恳。我反思自己的过错，将努力改正，接受你的帮助和拯救，你的建议我都完全接受了。仔细思考你的忠言，我非常赞赏。”
杨阜后来被调任为少府。当时，大司马曹真正在伐蜀，但遇到大雨，无法前进。杨阜上疏说：“从前，周文王有赤乌的吉兆，但仍然日夜操劳，无暇顾及饮食；周武王看到白鱼入舟，君臣都大惊失色。即使是吉祥的征兆，他们仍然忧心忡忡，更何况现在出现了灾异，我们怎么能不感到惊恐呢？如今吴、蜀尚未平定，而上天屡屡降下灾变，陛下应该深刻反思，专心应对，坐不安席，思考如何以德治国，以节俭安抚百姓。最近各路军队刚出发，就遇到了大雨，被山险阻碍，已经拖延了很多天。运输的辛劳，背负的痛苦，耗费已经很多，如果再没有后续的支援，必然会违背我们的初衷。《左传》说：‘看到可以前进的时机就前进，知道难以成功就后退，这是军队的良好策略。’如今白白地让六军困在山谷之间，前进没有收获，后退又无处可退，这不是用兵的正确方法。周武王曾因天时不利而撤军，商朝最终灭亡，这是因为他深知天命。今年收成不好，百姓饥荒，陛下应该下诏减少膳食，简化服饰，停止一切技巧珍玩的制作。从前，邵信臣在太平盛世担任少府，还上奏罢免了不必要的开支；如今军用不足，更应该节约。”皇帝立刻下令召回各路军队。
后来，皇帝下诏，要求大家讨论政治上对百姓不便的地方。杨阜认为：“实现良好治理的关键在于任用贤能，国家兴盛的关键在于重视农业。如果舍弃贤能而任用自己亲近的人，这是对治理的极大忽视。大兴土木，建造豪华的宫殿和高大的台榭，妨碍百姓的生产，这是对农业的极大伤害。工匠们不专注于自己的技艺，却竞相制作奇巧的物品来迎合上意，这是对根本的极大损害。孔子说：‘苛刻的政令比老虎还要可怕。’如今一些只懂文墨的官吏，不懂得治理的要领，却喜欢繁琐苛刻的政令，这是对百姓的极大扰乱。当前的当务之急，是去除这四种弊端，并且下诏让公卿和各郡国举荐贤良方正、敦厚朴实的人才，加以任用，这也是寻求贤才的一种方法。”
杨阜又上疏，希望减少宫中不受宠幸的宫女，于是召来御府的官吏询问后宫的人数。官吏遵守旧的命令，回答说：“这是机密，不能泄露。”杨阜大怒，打了官吏一百杖，斥责他说：“国家的机密不与九卿共享，反而与小吏保密吗？”皇帝听说后，更加敬畏杨阜。皇帝疼爱的女儿曹淑，不到一岁就夭折了，皇帝非常悲痛，追封她为平原公主，在洛阳建立祠庙，葬在南陵。皇帝准备亲自去送葬，杨阜上疏说：“文皇帝、武宣皇后去世时，陛下都没有去送葬，这是为了重视国家社稷，防备不测。怎么可以因为一个婴儿的葬礼而亲自前往呢？”皇帝没有听从。
皇帝新建了许昌的宫殿，又在洛阳营建宫殿和观阁。杨阜上疏说：“尧帝崇尚简朴的茅草屋，但天下百姓都安居乐业；禹帝不注重宫室的华丽，但天下百姓都乐于从事自己的职业。到了殷、周时期，宫殿的高度也不过三尺，宽度以九筵为标准罢了。古代的圣明君主，没有谁会极力追求宫室的高大华丽，从而损害百姓的财力。夏桀建造了璇室、象廊，商纣建造了倾宫、鹿台，结果都丧失了国家。楚灵王因为建造章华台而身受其祸；秦始皇建造了阿房宫，殃及他的儿子，天下百姓起来反抗，二世就灭亡了。如果不考虑百姓的力量，只满足自己的耳目之欲，没有不灭亡的。陛下应该以尧、舜、禹、汤、文王、武王为榜样，以夏桀、商纣、楚灵王、秦始皇为深刻的教训。陛下高高在上，应该监督臣下的德行。谨慎地守护天位，继承祖先的事业，如此伟大的事业，仍然担心会失去。如果不日夜谨慎，真诚地体恤百姓，反而自己贪图安逸，一味地奢侈豪华，必然会带来颠覆和危亡的灾祸。
《易经》说：‘房屋高大，遮蔽了阳光，窥视屋内，空无一人。’君主以天下为家，说房屋高大的灾祸，以至于家无一人。如今吴、蜀联合，图谋危害国家，十万军队，东西奔波，边境上没有一天的安宁；农民荒废了生产，百姓面有饥色。陛下不以此为忧，却营建宫殿，没有停止的时候。即使国家灭亡而臣子可以独自生存，臣子也不会说这些话；君主是头脑，臣子是四肢，生死与共，得失相同。《孝经》说：‘天子有直言敢谏的臣子七人，即使无道也不会失去天下。’臣子虽然愚笨怯懦，怎敢忘记谏臣的道义？言辞不恳切，不足以感动陛下。陛下如果不采纳我的意见，恐怕祖先的基业，将要毁于一旦。如果我死了能弥补万一，那么我死的那天，就如同活着的年岁一样。我恭敬地等待陛下的惩罚。”奏章呈上后，皇帝被他的忠言所感动，亲自下诏答复。每次朝廷商议事情，杨阜总是严肃认真地把天下事当作自己的责任。他多次劝谏，皇帝都不听从，于是他多次请求辞去官职，但都没有被批准。后来杨阜去世，家里没有多余的财物。他的孙子杨豹继承了他的爵位。