峙山公园东面约一里路有座孤山，伏在田野上，如一条头朝东北、尾向西南的牛，所以人们就叫它卧牛山。

北宋末年，金兀术带领金兵南侵，小康王赵构逃奔明州（今宁波)，经余姚，向浒山方向北逃，想渡海避难。

小康王和随从逃到卧牛山下福昌寺，人困马乏，正要休息，见山吞处金兵追来。随从中有一名是小康王亲族赵某，他急中生智向康王献计，叫康王解下衣冠佩剑给他，并叫康王单骑先走，由自己扮作康王迎敌。于是康王赶紧翻身上马，往东就逃，过马蹄漕、跃马桥，到埋马庙藏身。

随从赵某率领人马，手握康王佩剑，带头冲向金兵，死伤很多，战斗到中午，人困马乏，正无可奈何时，忽见金兵阵脚自乱，原来是余姚李知县带领乡兵赶到。

金兵恍惚看见卧牛山上全是乌牛乌衣的军人，认为已前后受敌，就落荒而逃。李知县立即领兵冲上去，把金兵杀散，救出受了重伤的赵某和随从。然后叫乡人把杀死的金兵埋葬在卧牛山后的小山堆，这就是现在的金山，把康王佩剑插在重围的小山上，这就是现在的剑山。赵某在此住下养伤，此地的村名现在叫赵家。

卧牛山相传因乌牛乌衣军战胜金兵的缘故，改称为乌山。