此台与大文学家苏轼有关。北宋元丰二年(1079)，苏轼主湖期间，写下《游道场山何山诗》一首，其中有“我从山水窟中来，尚爱此山看不足”句。苏轼在湖任职不到三个月，即因“乌台诗案”被诬去职。郡人怀之，筑台纪念。登此台，即可南眺道场山之塔影山姿。其后历代文人对此台题诗作文，篇什甚多。明苏士润《重建爱山台记》中写道：“薄暮四眺，则道场一峰峭拔巉岩，山顶有浮图，高可数百丈，耸然而峙，烟村云树，郁郁芊芊，竞献奇于台前……”概括了爱山台的景观特色。