张成林最初在1998年曾经到上海，进入徐根宝设立的根宝足球学校，但不到一年便离开，返回家乡安徽蚌埠。

1999年高丰文相中，前往沈阳接受训练，不久后张成林就进入沈阳金德U13梯队，并且在2003年和金德梯队的队友，代表沈阳市参加了在长沙进行的第五届城运会。

2010年10月12日，张成林在国足与乌拉圭的热身赛进行到70分钟时换下杨昊，迎来自己在国家队的处子秀。