后，由于秦桧的迫害，很多南宋的大将纷纷被调离现役，唯有杨沂中能执掌殿前司十数年而不倒，不得不让人怀疑他与秦桧关系暧昧。
杨沂中是否真是个奸臣，是个“髥阉”，李存也不敢确定。
但李存知道的是，
杨沂中反对杀俘，而这种事在当时的宋军中很常见，包括韩世忠都有这个毛病，只有岳飞等极少数将领才不杀俘，而杨沂中便是其中之一；
杨沂中并不赞成赵构、秦桧君臣主张的割地求和的外交方针，他曾强烈反对割让战略要地和尚原，并希望在金国“还旧壤，损岁币，复白沟之界”的基础上与其谈判；
杨沂中很爱才，曾维护李显忠、董先等将领，可以说，南宋小朝廷后来还有跟金国一战之力，杨沂中功不可没。
以上种种事实表明，杨沂中不太可能是秦桧之流的卑鄙小人，他之所以站在官方一边，很有可能是因为他和张俊、赵构的亲密关系，以及受当时的局势所限。
即便如此，杨沂中在赵构、秦桧领导的那个集团中的所作所为，也更多是“谋事”，而不是“谋人”。
宋史并没有把杨沂中和张俊、刘光世归入一类，似乎也说明了这一点。
总的说来，杨沂中是一个比岳飞、韩世忠、张俊更成功的政治军人，他能在不触动朝廷当权派的前提下最大程度搞好军队建设，为南宋小朝廷保留一战之力。
而且，杨沂中能在对武将不信任到了极点又薄情寡义的赵构身边待了十几年，不论是他的忠心，还是他的心计，都令李存佩服。
虎贲军不同于那些旧时代的军队，它是一支以火器为主的新时代军队。
当虎贲军的统帅，必须得是那种头脑特别灵活可以接受新奇武器装备以及全新战法的大将。
同时，作为李存安身立命的军队，不论是李存，还是虎贲军，都不能有事，因此，当虎贲军的主帅，还不能冒进，要异常的稳重。
这些条件，杨沂中无疑全都符合。
而杨沂中在历史上已经证明了，他绝对是一个忠心耿耿的人，哪怕他效忠的对象是赵构这样差劲到了极点的皇帝，甚至后来他都已经因为赵构的猜忌而辞职了，当南宋小朝廷需要他时，他也义无反顾的回来效力，没有使小性子。
在这一点上，不得不说，杨沂中确实是要比岳飞成熟得多。
这一世因为李存在苗刘兵变之前就将西宋给灭掉、将赵构给捉了，因此，杨沂中跟赵构并没有多少交集，赵构也
…。。