在祝允明《楷书东坡记游卷》《记游庐山》中说苏轼一生中和庐山有四次结缘:
第一次英宗治平三年(1066),苏轼护送父亲苏洵的灵柩,自开封回故乡眉山,路过庐山(九江),时年三十一岁;
第二次神宗元丰七年(1084),苏轼奉命自贬谪地黄州移住汝州,途中前往筠州看望弟弟苏辙,期间路过庐山,时年四十九岁;
第三次哲宗绍圣元年(1094),苏轼被贬岭南,路过庐山,时年五十九岁;第四次徽宗建中靖国元年(1101),苏轼自儋州北归,路过庐山,时年六十六岁。在这四次庐山之行中,第一次和第三次,由于心情沮丧,不适合进山游玩;而第二次和第四次,都是在结束流放生涯后来到庐山,心情舒畅,故而能够饱览山川秀色。
只是,第四次来到庐山,苏轼已经年老体衰,只是简单地旧地重游,并没有留下诗文。