衡山县距离高铁站和火车站的距离都比较远，但是离高铁站相对更近一些。衡山县距离衡阳高铁站约为30公里，需要乘坐出租车或者公交车前往；而距离衡阳火车站约为50公里，需要乘坐长途汽车或者出租车前往。因此，如果您需要前往衡山县，建议选择前往衡阳高铁站，然后再转乘公交车或出租车前往衡山县。