南宋绍兴十一年(1141)除夕夜，就在临安城百姓阖家团圆，欢天喜地守岁的时候，岳飞、岳云父子冤死于风波亭。岳飞力主抗金，始终战斗在对金作战的前线，哪知道他没有马革裹尸，不是为国捐躯，而是死于冤狱，消息传出震惊朝野。虽然人们都在为岳飞抱屈，除了韩世忠物伤其类替岳飞鸣不平，被秦桧轻描淡写的用“莫须有”三个字打发后，再无一人敢跳出来质疑此事。岳飞死后，宋廷又是如何对待他妻儿的呢?
岳飞的第一个妻子姓刘，在丈夫从军离乡后改嫁他人。妇人改嫁在宋时既不耻辱、也很寻常，但后人受明清贞节观念的影响，习惯上将岳飞后妻李娃说成是他的元配夫人。李娃比岳飞大两岁，结婚时已近而立之年，远远超过了正常婚龄，具体原因待考。
岳飞一共有五个儿子，按年龄推算，岳云与岳雷应该是刘氏所生，岳飞被害时，岳云23岁，岳雷16岁，二人都已成婚，并有子女四人。三子岳霖12岁，四子岳震7岁，五子岳霭(后宋孝宗赐名为岳霆)3岁。岳霆反而比岳飞的长孙岳甫小一岁，与岳飞长孙女岳大娘同岁。
岳飞遇害时，追随父亲出生入死、冲锋陷阵的岳云一同被杀，妻儿被悉数发配岭南。次子岳雷在岳飞下狱后，先是排除了涉案嫌疑后，按照宋律也被投入狱中照顾父亲。岳雷陪伴父亲度过了人生最后的风月，见证了父亲冤死，饱受摧残身心俱疲，没能等到父亲平反昭雪的那一天，死于流放地。李娃带着儿子跋山涉水赶往烟瘴之地，岳霖、岳震流放于惠州，地方官员将他们安置在一座寺庙内。兄弟二人失去自由，住在一处“仅足容身”的土屋内苦挨岁月。
二十年后，宋高宗良心发现，下诏对岳飞妻儿解除拘禁。绍兴三十二年(1162)高宗内禅，宋孝宗登基不久即宣布为岳飞平反。
这一年，李娃62岁，岳霖33岁，岳震28岁，岳霭24岁。宋孝宗颁旨：岳霖复右承事郎(正九品、文职)、岳震、岳霭补保义郎(正九品、武职);岳甫、岳申、岳经、岳纬、岳纲、岳纪一并补为承信郎(从九品、武职)。
从罪犯家属成为体制中人，也算是苦尽甘来，孝宗皇帝虽然为岳飞冤狱平反，却一切按制度来办，只是为岳飞后人安排了地位低下的武职，岳霖的承事郎之职是岳飞生前恩荫的，“右”字代表非科举、荫补出身。
据潭州(今湖南长沙)地方官奏疏记载，岳云死后，其妻巩氏拖儿挈女与小叔岳雷一家迁往潭州聚族而居。岳云在潭州有子二人，岳甫25岁，岳申22岁，女儿大娘24岁;岳雷有四个儿子、两个女儿：长子岳经21岁、次子岳纬20岁、三子岳纲14岁、四子岳纪12岁。长女岳二娘23岁，次女岳三娘17岁。
按两宋法定结婚年龄男为十五、女为十三计，因为长期拘管失去自由，岳云与岳雷的三个女儿都过了婚嫁年龄，成了大龄未婚女子。岳霖长子岳琛、岳飞女婿高祚并补承信郎。岳飞女儿名叫安娘，据说在为父亲的冤案上访、奔走呼号时，为巡逻的军卒阻挠，一怒之下“抱银瓶坠井死”，因此民间称为银瓶娘子。
尽管二十多年间，岳飞妻儿颠沛流离，受尽了苦楚，但在重获新生后，仍不得不感激涕零地上表谢主隆恩，岳霖、岳震、岳霭兄弟，岳飞长孙岳甫在谢表中悲愤难抑，大倒苦水道：“形骸沟壑，痛固无穷，妻子蛮夷，鬼亦不食，兴言及此，流涕涟如”。
岳飞几个儿子中，岳霖官位最高也不过是从六品的朝请大夫。本来是将种，岳飞后人却都弃武习文，他的孙子岳珂更是著述颇丰，有《桯史》等作品遗世。之所以如此，既与宋王朝崇文抑武有关，但更与岳飞、岳云父子同时被害的惨痛教训有关。如果继承父祖之志，难免会重蹈前人覆辙。
