但少年得志却不等于仕途坦荡，汪应辰做官的时候，北方金人南侵，他上疏表达了勿忘国耻、坚定抗金的主张，结果得罪了奸臣秦桧，被贬官3次，最后带着族人，从江西老家迁至浙江的屿北村。
汪应辰完全按照风水，来布局这个村子，他相信五行相互消长、阴阳相互平衡的道理，这样才不会阴阳失和，内心也不会感到不安。从高空往下看，整个村子就像一朵莲花，明朝地理学家李时实曾经来过屿北，他的评价是：“永嘉屿北路逶迤，出水莲花一地奇”。
东方属木，村东有林木茂盛的金山;南方属火，村南的屿山和金山相对而立，犹如“火”字的两点;西方属金，村西面有尚山;北方属水，村北的溪水是村里的水源，中方属土，指的就是位于中间的村落。屿北村左右还有两条溪水环抱，“门前若有玉带水，高官必定容易起”。
山岗上还有一片松林，在屿北人看来，这就是保护百姓的风水林，他们将古松树作为神灵来供奉，族规严格规定，谁也不能砍伐。
村里有7口古水井，按照北斗七星形状来分布，还有8座石桥，名字也好听，月街祠桥，大川桥，月旦桥……
汪应辰搬过来之后，村里便开始设立私塾，全村合力，聘请老师，曾经有一位“四世师傅”，意思是一位老师连续教了4代人，全家每个小孩都受过他的启蒙教育。老师一开始教《三字经》、《百家姓》、《千字文》，后来渐渐教一些国学经典，比如《论语》、《孟子》、《诗经》。
把私塾放在家里之后，家就不仅是生养孩子们的地方，也是他们接受人生第一课的地方，这就是屿北人认为的家教。在家里，“规矩”一样也不能少，孩子入学得由父母陪送到私塾，父母会把孩子的个性脾气向老师介绍一下，并婉言请老师殷勤教诲，然后指点孩子拜见老师。
