杨素在小说演义中是以文臣的身份出现的，为隋朝开国功臣，位列宰辅，封越国公，权倾朝野。其实，杨素是个文武全才，不论军略，智计，权谋，眼力都是当世冠杰。但是因为儿子杨玄感兵变失败，再加上自身的操守问题，导致杨素后世名望不高，他的用兵才能被大大的低估了。
杨素出身弘农杨氏，将门之后，其祖父杨暄官至北魏辅国将军、谏议大夫，父亲杨敷官至北周汾州刺史。
杨素虽然是个官二代，可他身上并没有纨绔子弟的那些恶习，相反的他从小就勤奋好学，不仅自幼习武，而且工于文学，在书法上也颇有造诣。史书称他“研精不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表。”
另外杨素志向远大，表现得与众不同，他的堂叔祖曾对人言：“处道当逸群绝伦，非常之器，非汝曹所逮也！”而事实也证明他的堂叔祖确实说对了，杨素确实没有让人失望。
杨素的发迹是在宇文邕诛杀宇文护后，本来他就因为与宇文护关系亲密受到牵连，当时他的父亲又因为死于北齐未受到朝廷追封，于是心有不甘的杨素愤然上书替父亲申诉，也是为自己叫屈。
宇文邕先是不理，后来被杨素的再三上表惹怒，便下令诛杀杨素。杨素高声叫道：“臣事无道天子，死其分也。”就因为这句话，让宇文邕对他刮目相看，“帝壮其言”，不但给了杨敷“忠壮”的谥号，还封杨素为车骑将军，仪同三司，并逐渐对其有了好感。
公元576年，杨素跟随宇文宪攻北齐，攻克晋州后屯兵栖原。北齐后主高纬率大军赶来支援。宇文宪考虑到敌众我寡，于是命部队乘夜撤退，结果被北齐军追上，北周军多被击溃。最后得益于杨素的拼死苦战，宇文宪才得以突围。
杨素一般给人的印象是文官，实际上他自身的武力值一点都不弱，史载，他的箭术特别好，百步之外可以射穿三层皮甲，他是隋朝首任大将军，也是朝野上下公认的猛将。
此后，杨素又屡立战功，到北齐灭亡时，杨素已经升为成安县公，邑一千五百户。
577年，陈宣帝陈顼乘北周灭北齐之际，派名将吴明彻率军北伐。吴明彻数次击败梁士彦，包围彭城。次年二月，杨素随大将军王轨前去救援，大破陈军，生俘吴明彻。
579年，杨素又随上柱国韦孝宽攻南陈淮南之地。杨素独自率军攻克盱眙和钟离两地，居功至伟。
此后，杨素开始独立领军，他的治军才能也得以体现。史载，他治军严整，军令如山。每次大战前都要在军中借故找一些犯错的士兵出阵斩首，多者百人，少者几十个。两军对阵，杨素务求取胜，不能取胜而败下阵来者，无论剩下多少人，全部都斩首于阵前。“先以数百人赴敌陷阵，不能而还却者悉斩之。复进以数百人，期必陷阵而止。是以士皆必死，前无坚敌。”
宣帝宇文赟死后，年幼的宇文衍继位，杨坚专权，杨素发现杨坚有称帝之心，所以主动投靠到杨坚门下，而杨坚也欣赏杨素的才华，倍加重用，封他做了汴州刺史。杨坚称帝后，又加封他为上柱国，让他参与隋律的修定。
开皇四年，杨素在一次夫妻吵架中说了一句：“我若作天子，卿定不堪为皇后。”被其妻郑氏告发，杨素因此获罪，被免官。这次经历差点毁了杨素的前途，好在杨坚一直准备灭陈，杨素趁机献伐陈之策，被重新启用为信州总管，经略长江上游，为灭陈做准备。
杨素用兵，步战骑战水战皆长，最喜欢以敌之长击敌之长，在敌人最擅长的领域击败对手。比如南朝擅水军，杨素以水军破之；突厥擅骑兵，杨素以骑军大败之。
南朝能存活百年，主要依赖于长江天堑，虽然陈后主腐朽无能，但其水军还是有一战之力的，按正常来讲，隋朝应该避其水军，以北朝最擅长的陆军灭之，但杨素偏偏要在其最强领域击败他。
于是杨素在奉节大造军舰，其中：巡洋舰，取名五牙，约五层楼高，装六扇拍竿，载兵员八百名；驱逐舰，取名黄龙，载兵员百名；还有舴艋快艇及平乘登陆艇等各种战舰。
杨素不仅武略一流，更是个玩弄心理战的高手。当时隋军在上游造舰，造船废料不可避免的随江水下流，为了避免引起下游陈军的警觉，部下建议将木料回收，但杨素却认为此法不但耗费人力，而且耗时，于是不但下令不回收，还故意在江中大肆漂下造船废料，威慑陈人，结果弄的陈朝人心惶惶，还未开战，一些士卒就开始逃散。
隋军军舰造好，杨素担任元帅，以水军为主力，从奉节大举南下，很快就到了隋陈交界的流头滩，杨素趁夜派一支特种部队从南岸破坏阻挡军舰的栅栏，同时用骑兵从北岸袭击陈军，陈军上下在睡梦中被击垮，杨素又将俘虏放回，并发放路费，借以收买人心，顿时陈军士气更加低落。
过了狼尾滩后，杨素乘胜南下，陈军退到宜昌设防。
从狼尾滩到西陵峡地段无战事，杨素趁机向沿江百姓展现军力，全舰以检阅队形顺水东下，一时长江江面，各色舰船铺天盖地，士兵盔明甲亮，军纪严整，杨素身穿明光铠，坐在高高的五牙大舰上。
杨素本人容貌雄伟，宜昌上游江面又不是很宽，让两岸百姓见足了大场面，都被杨素装X的样子蒙得晕头转向，畏惧地感叹道：“清河公即江神也。”
过了西陵峡就是一马平川，陈军在西陵峡布三条铁链拦江，杨素登岸赶走陈军，轻松解锁，舰队继续东下，过宜昌一路观光到了荆州，在宽大的江面上见到了陈军，开始了正式的水战。
结果隋军仅用四艘五牙，就击沉陈军战舰十余艘，几战下来，陈朝岳阳以东无人敢守，沿江各军纷纷放弃抵抗，刺史和亲王也主动请降。于是陈朝长江天堑轻松攻破。
陈朝灭亡后，杨素因战功卓著被进爵为郢国公，入朝任内史令。开皇十二年，杨素代苏威为尚书右仆射，与尚书左仆射高颎同掌朝政。为了讨好杨坚，杨素滥用民力建造仁寿宫，致使“死者以万数”，成为其奸臣之名的有力佐证。
杨素虽然入朝参政，辅佐杨坚开创“开皇之治”，但他并没有荒废自己的老本行。开皇十九年，隋文帝命汉王杨谅为元帅(实际未亲临前线)，以杨素出灵州，高颎出朔州，上柱国燕荣出幽州，三路进击突厥。
四月，杨素军在灵州以北与突厥达头可汗部遭遇。杨素一改中原军队传袭千年的戎车鹿角阵战法，以骑阵对骑阵，轻勇先冲，大军奋进，击破突厥十余万精骑，打得达头可汗重创而遁，“杀伤不可胜计，群虏号哭而去”。战后，隋文帝下诏褒奖，赐杨素缣二万匹，及万钉宝带。
开皇二十年，杨素再征突厥，未免敌人分散逃跑，他亲领两名骑兵和两个投降的突厥人潜入敌阵，同敌人一起前行，敌人没有发觉，“素亲将两骑，并降突厥二人，与虏并行，不之觉也。”待敌人止宿屯驻时，杨素下令尾随的隋朝骑兵突然袭击，大破之，突厥兵四散而逃，杨素又穷追不舍，直到再无聚集起来的可能。从此突厥遥遥远遁，大漠之南无复虏庭。
观杨素征战一生，战必胜、攻必取，正兵、奇兵兼备，兵种的适应性、协调性、全能性，在历史上都屈指可数。如果不是杨坚得国太易，杨素的军事才华会展现的更淋漓尽致。
如果到此为止，杨素可能是中国历史上最全能的顶级名将，甚至能同韩白卫霍李岳等并列而无愧！但是后来的杨素却没有守住为臣的本分，担上了弑君的罪名，最后也没有得到善终的结局。
杨素第二次北征突厥的行军元帅是晋王杨广，杨广为培植自己的势力，亲自与杨素结交，杨素也知杨广有夺位之心，遂“深相结纳”。
杨勇为太子时，杨广通过杨素弟弟杨约向其陈述如果杨勇继位的种种利害，杨素深以为然，于是经常在杨坚夫妇面前中伤杨勇。独孤皇后本来就不喜太子，现在又有了杨素支持，便力主杨坚废除杨勇。
杨勇被废后，屡屡要求面见杨坚，告诉父皇自己的冤屈，但都被杨广拦下，有一次杨勇甚至爬到树上，大声呼喊文帝，杨坚听说后便动了见杨勇的心思，杨广不好阻止，便委托杨素出面，于是杨素向文帝道：“杨勇已经心神丧失，被妖魔附身，魂都收不回来了。”文帝被说服，不再见杨勇。
仁寿四年，杨坚病重，杨素和兵部尚书柳述、黄门侍郎元岩等人入宫侍候。杨素与杨广暗通消息，不想宫人将密信误送到文帝住处，杨坚见信大怒，这时，侍疾的陈宣华夫人又说杨广对她无礼。杨坚于是大发脾气，要召见废太子杨勇。杨素见状却秘而不宣，并命张衡进入寝殿,不久文帝就驾崩了。
据《隋书》和《通历》记载，“帝怒曰：‘死狗,那可付后事!’遽令召勇,杨素秘不宣,乃屏左右,令张衡入拉帝,血溅屏风,冤痛之声闻于外,崩。”
于是，杨素在历史上就有了助晋夺嫡、弑君的罪名。
杨广即位后，召汉王杨谅回朝。杨谅知有异，便举二十万大军据并州而反，杨素仅以数万人东征平乱，先在高壁之战，亲自领兵袭敌后路，破杀杨谅部将赵子开十万余；再在清源之战，以正兵决战，大败杨谅十万大军，生擒当世第一猛将萧摩诃，一举平乱。
平乱后，杨广赏杨素布匹5万缎，高级丝绸1千匹，女妓20人，首都洛阳高级住宅一套，升尚书令，并封其子万石、仁行，侄子玄挺俱为仪同三司。
虽然杨素位及人臣，受尽荣宠，但逐渐被杨广架空。大业二年，杨广先拜杨素为司徒，后赠其为光禄大夫、太尉公以及十郡太守，但这些都是虚位，朝中有任何大事，杨广都不让其参与，而且对他态度淡薄，“外示殊礼，内情甚薄。”
史载，后来杨广改封杨素为楚公，因为据太史官报告，楚地将有重大丧事发生，杨广就想借杨素来挡晦气。杨素卧病在床时，杨广虽然明面上派御医前去诊治，暗地里却问御医，杨素何时会死？“密问医人，恒恐不死。”
杨素也知道自己遭忌，于是不肯吃药，不久便一命呜呼了。后来其子杨玄感造反，更是被诛九族。
