唐宋之时，金山还是“江心一朵芙蓉”，中泠泉也在长江中。据记载，以前泉水在江中，江水来自西方，受到石牌山和鹘山的阻挡，水势曲折转流，分为三冷（三冷为南泠、中泠、北泠），而泉水就在中间一个水曲之下，故名“中冷泉”。因位置在金山的西南面，故又称“南冷泉”。
当时因为长江水深流急，汲取不易，据传打泉水需在正午之时将带盖的铜瓶子用绳子放入泉中后，迅速拉开盖子，才能汲到真正的泉水。
唐陆羽品评天下泉水时，中泠泉名列全国第七，稍陆羽之后的唐代名士刘伯刍品尝了全国各地沏茶的水质后，将水分为七等，中泠泉依其水味和煮茶味佳为第一等，因此被誉为“天下第一泉”。中泠泉水绿如翡翠，浓似琼浆，盈杯不溢出。
南宋名将文天祥畅饮后，豪情奔放赋诗一首：“扬子江心第一泉，南金来北铸文渊，男儿斩却楼兰诗，闲品茶经拜祠仙。”
南宋爱国诗人陆游曾到此，留下了“铜瓶愁汲中濡水，不见茶山九十翁”的诗句。
王仁堪，字可庄，又字忍菴，号公定，清代闽县（今福州）人，光绪三年（1877）状元。
