古琴台始建于北宋时期，相传，春秋时期楚国琴师俞伯牙在此鼓琴抒怀，山上的樵夫钟子期能识其音律，知其志在高山流水，伯牙便视子期为知己。几年以后，伯牙又路过龟山，得知子期已经病故，悲痛不已的他即破琴绝弦，终身不复鼓琴。后人感其情谊深厚，特在此筑台以纪念。古琴台东对龟山、北临月湖，湖景相映，景色秀丽，幽静宜人，文化内涵丰富，构成一个广阔深远的艺术境界。
清朝嘉庆初年，湖广总督毕沅主持重建古琴台，请汪中代笔撰《琴台之铭并序》(一说为《汉上琴台之铭并序》)和《伯牙事考》。光绪十年(公元1884年)，黄彭年撰《重修汉阳琴台记》。光绪十六年(公元1890年)，杨守敬主持并亲自书丹，将《琴台之铭并序》、《伯牙事考》、《重修汉阳琴台记》重镌立于琴台碑廊之中，并书“古琴台”三字刻于大门门楣。