《下城区地名简志》“岳家湾”条载：“(岳家湾)位于长庆街道东部，南起高家河头接太平桥直街，北至堂安弄接新桥横街，长200米，宽3米，沥青路面。据传，岳飞冤狱平反后其子孙曾居于此，故名。”冠以“据传”，显得十分谨慎。
岳飞于绍兴十一年十二月二十九日(公元1142年1月27日)被毒死在大理寺狱中的风波亭(今庆春路西海华大酒店东侧小车桥的地方)，同日被害的还有养子岳云和部将张宪，家属全部流放到岭南，这就是岳珂《金陀粹编》中所记的举家南迁的事，也见于同时代人撰写的一些野史和笔记。
但这不等于说，岳飞的家属从此就在岭南生根，再也无法回京城临安了。这是因为岳飞冤死后群情激愤，先是有殿前小校施全刺击秦桧，街里坊间出现了油炸桧。两团面粉捏在一起油炸，谓秦桧及其恶妇王氏，嚼而吞之方解心头之恨的小吃，这就是今日杭城街头巷尾常见的油条。当然，在发展过程中，形状是有点走样了，秦桧夫妇矮黑奇丑，决不可能有如此条干的。
岳飞被害后，当时许多正直的大臣纷纷上书为岳飞辩诬。如韩世忠就当众斥责秦桧“莫须有三字何以服天下”，并在灵隐飞来峰下建翠微亭，以纪念岳飞(岳飞作有《登池州翠微亭》诗)，在亭侧石壁上刻有：“绍兴十二年，清凉居士韩世忠因过灵隐，登览形胜，得旧基建新亭，榜名‘翠微’，以为游息之所，待好事者。三月五日，男彦直书。”此距岳飞被害仅66天。虽说杀害岳飞最终是由赵构定夺的，在当时不可能给予平反昭雪，但朝野的愤慨之情，绵绵不断，也是不争的事实。
绍兴三十二年(公元1162年)，金人大举南下，赵构的和议投降政策彻底失败，被迫让位给赵昚。赵昚即位后为鼓士气，平民愤，下诏为岳飞平反昭雪，以礼改葬岳飞遗体于栖霞岭下，即今日岳王庙内的岳坟。岳飞生前官至少保，按宋制，三品以上大臣的墓葬，墓道两侧可立石人、石虎、石羊、石望柱各一对。这一礼制，在1979年重修岳坟时出土的南宋风格的石俑中得到证实。岳飞的子孙，正是在此前后回京城临安的。
回临安后为什么不回原故宅居住呢?分析可能出于两方面的原因。一是岳飞从被害到平反昭雪在时间跨度上已整整21年，沧海桑田，人异物非，就是孝宗点头，未必能够住得进去。毕竟人去楼空，容易勾起不堪回首的往事。那么岳飞的子孙又为何选择岳家湾居住呢?除了该地清静，还在于当年岳飞的部将高冲居住在高家河头，紧挨岳家湾。
当然，以上只是根据史料所作的推测，一家之言，显然有点大胆。但这一传说，经百姓之口传至今日，从另一个角度证明了推测合理。且看《南涧吟草》中的《岳家湾》诗：“称臣称侄分偏安，北去双舆竟不还。乌桕几株田半块，老农犹说岳家湾。”《南涧吟草》作者实月，清人，可见一直到清代，民间还盛传岳家湾曾居过岳飞子孙这件事。
