古时候黄茆山曾叫亚云山。

黄茆山山名源于古代黄帝的故事。

据古史记载：黄帝被诸侯尊为天子后，以风后为相，以力牧为将，命大桡作甲子，容成造历。蚕桑、舟车、文字等皆始于黄帝。黄帝打败了炎帝后，遂率部下来到江汉流域，后到云梦泽（即洞庭湖）。一日凌晨，黄帝高兴地带着一班人乘船来到北洞庭，指着东面一座美丽山岳说：“此山可佳！”丞相风后问作甲子的大桡：“此山名何山？”大桡掐指一算，望其山说：“此时为卯（这个时候，正是卯时），朝气腾升，黄帝问其名此山就叫‘黄卯山’好了。”后来，人们见此山柴少草多，就在“卯”字上加上一个草头。于是，这山名就成了“黄茆山”。

又过了上千年，秦始皇修筑长城，到各地驱赶长形山岳代筑长城。一天，秦皇来到麋子国（即古岳阳），晚上他手握鞭子驱一座山向北走去，当赶到洞庭湖的叉湖（即今岳阳市的南湖）边上，山边村子里的公鸡打鸣了，于是山赶不动了，这山就是如今南湖南边的“赶山”。秦皇也曾想驱赶黄茆山，但见它太高、太大，筑长城不适用，便让它留下堵塞洞庭湖的凶猛洪水。后来，张果老见长长的“黄茆山”的山顶平整高峻，难以跨越，便操起铁扁担朝此山猛劈了三下，于是这山火星四溅，飞砂走石，整个山体如大海波涛连天涌荡，最后，定格成今天高低起伏、逶迤不断的山峦。从此，张果老从这山的山凹跨来走去方便多了。

这山南有储藏金碗、金筷、金杯的柜门山和狮口向天山；北有仙人的棋盘石与观音圣母等前来闲游的大坪；东面与西面有多座颇具灵验的庙宇。