徽宗宣和四年(1122年),为元城尉,调平阳府司录,济南府教授,除太学博士。钦宗靖康元年(1126年),为太常博士。既而使金,迁著作佐郎。使还,擢尚书吏部侍郎兼权开封府尹。二年,从钦宗至金营,金人背约,逼钦宗易服,若水敌不屈残杀,时年三十五。
高宗建炎初赠观文殿学士,谥忠愍。有《忠愍集》,《直斋书录解题》著录十二卷,《宋史·艺文志》作十卷,已佚。清四库馆臣据《永乐大典》辑为三卷,其中诗二卷。
《宋史》卷四四六有传及多种史书籍有传,小说《说岳全传》有一节对他壮烈殉国事迹有所描绘。
李若水的诗歌《捕盗偶成》是历史上最早的关于宋江的记载。