杨过很小的时候就懂事了，在他幼时记忆中，母亲总是一脸愁苦忧郁的样子，她总是躺在床上用那双温暖纤细却有着老茧的手抚摸着他的头，杨过至今还记得那温暖的感觉。
在母亲少有的健康的时候，她会上山打一些猎物来加餐，他们住在村子最边缘处没人要的猎户茅草房里，这里很旧很破，下雨时还会漏雨，家里很穷，米缸里总是空荡荡的，但是杨过却一直很还念那个时候破旧穷苦的家，不为别的，只因为那时候母亲还在。
杨过小时候是没有玩伴的，因为他没有父亲，村子里的孩子都瞧不起他，根本不屑于和他玩耍，小小年纪才是个豆丁的杨过便早早懂事了，他没有时间去为小伙伴不理他低落委屈，在母亲卧床时，他会很乖巧的自己到山脚上去挖一些野菜来当做吃食，等他再长大一点到了五六岁时，小小的杨过已经学会了在山里追兔子捉小鸟了。
穆念慈也许对杨康确实是一片情深意重，但是她却并不是一个合格的母亲，杨过出生时她还沉浸在杨过的死中无法自拔，她没有给杨过多少爱和呵护，反而一直是小小的杨过懂事的补贴家用。杨过小时候曾经问过母亲关于父亲的事情，可是那时候她只要一问母亲就会垂泪哀戚，久而久之他也不再问了。
杨过就是在这样缺乏父爱的环境中长大的，穆念慈虽然疼爱他，但是身体经过这些年的败坏已经大为不好了，根本没有办法给杨过一个安定幸福的童年。杨过再长大一点，为了让长年卧病于床的穆念慈活的更久一点，利用穆念慈交给他的一点粗浅功夫做起了偷鸡摸狗的活当。那时候杨过经常被人打得满身是伤，但是他为了让穆念慈安心养病，硬是一句话都没告诉她，一个默默的把一切苦痛都自己扛了起来。
杨过知道穆念慈不喜欢他去做偷鸡摸狗的坏事，所以在穆念慈面前总是表现得很乖巧很懂事，从不惹她生气，他这么努力这么努力的想要留下自己唯一的亲人。只可惜，即使杨过用尽了一切办法想要延长穆念慈的寿命，但在杨过十一岁那年，穆念慈还是熬不过去死在了那年过于寒冷的冬天。
那时候，杨过只觉得心里一片冰凉，他在这世上的，最后一个也是唯一的一个亲人，离他而去了。
没有了穆念慈，杨过再也不用装成乖孩子了，他性格古怪骄傲至极，对于不喜厌恶他的人他也是不屑和厌恶，经常在暗中偷偷教训他们。
穆念慈死前交代杨过把她的骨灰带到嘉兴铁枪庙和他父亲安葬在一起，抱着完成穆念慈遗愿的想法，杨过一路坑蒙拐骗无所不用，最后在跋涉了不短时间后他终于赶到了母亲所言的铁枪庙，将母亲的骨灰和他素未谋面早已死去的父亲安葬在一起。
至此，杨过便在嘉兴郊外找了个破房子住了下来，他生性聪明机巧，又会一点拳脚功夫，在嘉兴靠着坑蒙拐骗倒也过得很不错。直到他十三岁半时，在嘉兴郊外坑了一行人，那行人中只有一个女人，其余的都是年龄比他还小一些的孩子，杨过毫不犹豫的就把他们坑到陷阱里去了——反正他只是求财，又不是要命。
没想到那次算得上十拿九稳的坑骗最后会出问题，一双白色的神骏异常的大雕突然飞了下来阻止了他的行为，除了一对大雕，还有一个粉衣的玉雪可爱娇俏可人的女孩子。那女孩子武功比杨过好得多，对于主动出手的他只是轻轻一脚就把他绊倒在地，但是丢了个大脸的杨过倒不是很讨厌这个女孩子，因为她在他跌倒时不计较他浑身脏兮兮的扶了他一把，所以杨过虽然看起来摔得狼狈，可是一点事情都没有。
后来发生的事情，无论杨过再回忆多少次都忍不住带着温柔和怀念的笑起来，眼里满是缱绻和密密的暖。
那个漂亮娇俏的女孩子说，她是郭芙，是他爹结义兄长的女儿，所以也算是他的妹妹了。她对他笑的时候，大大的眼睛眯起，长而卷翘的眼睫轻轻扇动着，就像一只撒娇的小猫咪一般可爱，她不嫌弃他是个小混混小乞丐，不在乎他全身脏兮兮的，她对他很好，除了母亲再也没有人像她那样对他那样好。
那时候杨过才十三岁，正是情窦初开的时候，郭芙又是娇俏可爱的女孩子，还对他那么好，杨过产生绮思也是正常的，可那时候的杨过还是有些隐藏极深的自卑，而郭芙对他也只是像对一个兄长那般信任依靠，杨过便把自己的心事深深的藏了起来。
在桃花岛的日子，是杨过过得最轻松愉快的日子，他能学习到许多高深的武功，身边有关心自己的郭伯伯和郭芙，有亦师亦友的黄药师，即使郭伯母和大武小武对他隐隐排斥，他也不在乎。但是好景总是不长，或许他这一生本就是这样命运多舛吧。因为义父欧阳锋的原因，他被郭伯母提议送到终南山拜入全真教。
而郭伯伯在深思一番后也同意了，杨过知道郭伯伯是真的为他好，真的认为全真教更适合让他学好，但是郭伯母……哼，不说也罢。倒是郭芙对这件事情一直持反对意见，几次劝说郭伯伯打消这个念头，只是那时的她才十岁，说话能有多少分量？
就这样，杨过就被从桃花岛送去了终南山。而他对郭芙萌生的爱慕之情，这一藏，就是五年。桃花岛一年，终南山四年，杨过来到终南山之后，果然如同郭芙所言全真教的人对他表面友好重视，但是背地里经常欺辱打骂他。他在全真教呆了很长时间，却除了一些心法口诀什么武功都没有学习到，好在他在桃花岛时习得不少武功至今不曾完全精通，在全真教的日子倒也没有那么难熬。
直到赵志敬特意设计他，让他浑身遍体鳞伤的逃进了终南山后的活死人墓，在那里杨过遇到了除了母亲外第四个对他关心爱护的人，孙婆婆。为了救他，孙婆婆最终殒命在全真教道士的手上，那时候杨过仿佛回到了十一岁那年的冬天，母亲就是这样撒手人寰离他而去。
是不是……所有对他好的人，最后的结局都是悲剧？
杨过拜入了古墓派，他的师父是小龙女。小龙女从小生活在古墓里不通世事，都是却对他很不错，不仅悉心教导他古墓派的武功，而去从来不强迫他去做什么，即使他练别派的武功也只是一笑而过。
小龙女长得很美，虽然过于清冷却处处照顾他，所以杨过很喜欢小龙女，一点儿也不在乎她的冷淡和漠然，这时候杨过总是忍不住拿郭芙来和小龙女对比。容貌上，小龙女还是要比郭芙略胜一筹的，但是比起生性清冷漠然的小龙女，天真活泼娇俏可爱的郭芙更有一种女孩子特有的朝气和美丽，而从她那双漆黑的眸子里不时掠过的温暖的光芒，更是让人不由自主的信任和感到温暖。
杨过心中对郭伯伯和郭芙都甚为想念，但是他知道他叛出全真教的事情只怕那群道士是不会告诉郭伯伯他们的，甚至会谎说他在全真教过得极好。在古墓里的时间总是过得飞快，在经过了李莫愁的一番磨难之后，杨过觉得自己对姑姑小龙女的感情似乎有些不太一样，这时他真的觉得自己很贪心，心中竟然装下了两个人。
而断龙石落下他和姑姑出了古墓时，有更大的惊喜来临，已经四年不曾见过的郭芙来找他了。当杨过看到比起四年前五官长开了身姿妙曼的郭芙时，心中那种悸动的感觉再一次袭上心头。
但是他注定要失望，郭芙对他是真的只有兄妹之情，她关心他，信任他，敬佩他，依赖他，却只是出于妹妹对兄长的喜爱。