济公自称“幼生宦室”。济公的师侄居简《湖隐方圆叟舍利塔铭》说他是“天台临海都尉李文和远孙”。李遵勖（988?1038），初名勖，因娶宋真宗赵恒妹万寿公主，而加“遵”字为“遵勖”，字公武，逝世后谥号和文，为李崇矩孙，济公高祖。其世系为：李崇炬李继昌??李遵勖??李端懿、李端愿、李端悫??李评??李涓??李茂春??李修元（修缘）。该家族有三个特点：一是世代仕宦，且为将门；二是为官清正，政绩卓著，名列《宋史》；三是历世积善信佛，家族中不少人是禅宗的著名居士。随着宋室南迁，李氏子孙流寓其高祖李遵勖封（食）邑浙东天台，隐居于赤城山南麓、天台城北的永宁村。济公之父李茂春，目击朝廷腐败，弃官隐居经商、念佛，为人淳朴厚重，乐善好施。 　　永宁村在古城北门外，济公家就住在赭溪畔。济公李氏家族人丁不很旺盛，但因历世仕宦，家境富裕，也称得上是天台的望族了。赭溪西岸的一大片田地（现都已建成一片民居了），就属于这个家族所有，至今人们还称作“李家？”。发源于北山的赭溪是孩童时济公看水碓舂米、捕鱼游泳玩耍的好去处。石墙头边上有“陇西园”，古时这里是济公李氏的私家庄园。抗战时在此处还设立过“忠烈祠”。