據說北宋太宗年間，遼國經常興兵南侵，企圖奪取宋朝江山。有一次，宋太宗命潘仁美為主帥，楊業為副帥，統領三軍前去抗遼。潘仁美惟恐楊業功高望重，超過自己，就和監軍王優合謀，私自下令，從前線撤回楊業麾下的許多兵馬，伺機陷害楊業。遼國得知這個情況后，便集中十萬精兵，乘機猛攻宋營，戰情十分緊急。潘仁美制造借口，不予增兵。楊業萬般無奈，只好率領僅有的人馬去與敵人廝殺。出發之前，楊業與潘仁美商定，各選一千名精悍的弓箭子，埋伏在陳家谷兩側，等他把敵人引到谷時，就左右夾攻，給敵軍以殲滅性打擊。潘仁美口頭上答應，但內心里卻另有打算。當寡不敢眾的楊業被打得人困馬乏，退進山谷時，發現潘仁美并沒有布置伏兵。楊業見此情景，義憤填胸，奮不顧身地回馬沖殺，直打得渾身是傷，進退兩難。這時，他長嘆一聲道：“我一心盡忠報國，反被奸臣陷害，今天要身落敵營，活著哪還有臉見人。”嘆罷，縱身碰死在一塊巨石上。后來，楊業的夫人余太君告了御狀，然而，宋太宗僅只是免去了潘仁美的三個虛銜。這當然不能令人心服，于是，余太君懷著一腔義奮，離開了開封的楊府，帶領一家老小回河東老家隱退去了。設在開封的楊府，與潘府只有一路之隔，潘仁美見余太君一家搬走了，心里十分高興。可就在這時，忽然刮了三天三夜狂風，下了三天三夜暴雨，洪水把潘楊二府都淹沒在一片汪洋之中。風息雨住之后，兩家隔路相對的住宅，一起陷進地里，變成了兩個龐大的湖泊。由于一忠一奸，故而湖水也是一清一濁。

    其實，湖水的清濁跟人的好壞并沒有直接的聯系。究其原因，主要是周圍環境造成的。當時潘家湖周圍人口稠密有關。另外，它與刷絨街較近，那里有造紙作坊，制皮作坊。尤其是在湖邊的豆芽社，直接把污水排到湖中。此外，在湖的東邊整齊的放著很長一排洗衣服的磚，一橫一豎像個丁字放在湖邊，供人在那洗衣服，放磚人，收一、二分錢。又因為，東湖本身死水，久而久之，湖水就被污渾濁不堪了。楊家湖的情形不一樣，因其周圍居民稀少，在此洗刷的人也較少，沒有那么多污水流入，所以，湖水比較清。