潘余村位于浒山大城区东部,全村区域面积约0.7平方公里,东靠文武殿江和武陵桥村,南接武陵桥村和二房村,西邻长春村,北依大塘江.至2006年底,全村共有在册人口1015人,其中男512人,女503人,总住户403户,分2个自然村,共八个村民小组,现有耕地面积181.2亩,山林面积380亩,现有个私企业105家,股份制企业2家,到2004年底全村完成工农业总产值2.6亿元,村级集体可用资金收入68万元,人均收入7500元.
潘余村与二房村、宏坚村、新横江村、上周塘村、武陵桥村、长春村、三洞桥村、白沙路村、河角村、隆兴村、墙里村、群丰社区、白河社区、西华头村相邻。
2021年12月,潘余村被命名为2021年浙江省卫生村。