武功山最早叫泸潇山，后来叫武公山。相传晋朝时期，有武姓夫妇二人听说安福泸潇山人杰地灵，便从四川慕名前来修真练道。

魏晋南北朝时期，梁武帝晚年遇侯景造反叛乱，叛军在泰和一带招兵买马企图推翻王朝。

陈霸先代梁立陈，论功行赏，为表彰武公真人的功德，把“武公山”更名为“武功山”。