胡氏宗祠始建于宋，传说风水大师赖布衣曾仙游于此，认为此地东耸龙峰，凤鸣西山，南有天马奔腾，北有登源河蜿蜒而下，山明水秀，龙凤呈祥，贵不可言，地形狭长如龙船出海，可惜胡氏居此，胡与浮同，漂浮不定，难以显贵，因此建议请一丁氏夫妇到村居住，由胡氏供养他们，丁似船锚，胡氏龙船便有了依靠，便可以兴旺富贵，此后胡氏慢慢就兴旺发达，富贵不替，乡贤辈出，明朝出了一门三尚书，抗倭名将胡宗宪尚书府就在祠堂后面，明嘉靖年间重修宗祠，相隔十三代，胡宗宪的嫡系裔孙胡锦涛位登九五至尊。为防止丁氏丁多反而不好，赖布衣通过精心布局，点葬丁氏祖墓，使其世代单传，直至现在还是代代单传，使人不得不感叹风水的神奇造化.