吕四原来是个白水荡，三面是海，南北只有七来里宽。传说吕洞宾曾四次来到此地。第一次，在大洋港西门有一户姓陶的有钱人家，一天，一个小伙子借住下来。几天后，陶家佣人看到这个小伙子天天早起在花园里跟东南方飞来的一只大鸟飞走了。传说，小伙子就是吕洞宾，大鸟就是一只仙鹤。
　　第二次，吕洞宾装成个算命先生，替人算命，但发现前来算命的，都是为升官发财、买田置业、求子求福的，不多时就走了。
　　第三次，吕洞宾在吕四开了一爿缸爿饼店。还有一次，人们看见吕洞宾到过三官庙。因为传说吕洞宾先后曾四次到白水荡，后来，人们才把原名“东灶”改名为“吕四”。