清光緒三年五月初四（1877年6月14日），張嘯林出生于浙江寧波府慈溪一個偏僻小村莊一張姓木匠家庭。排行老二，因長兄名叫大林，其父就隨便給他取了一個名字，叫作“小林”，乳名“阿虎”。年輕時候，張小林在杭州拱宸橋開了一家茶館。

1912年夏季的一天，中國海軍元老、時任海軍上將司令的薩鎮(zhèn)冰，一時興之所至，單身便服出游西湖，玩賞途中在一家飯館用餐，吃完飯才發(fā)覺身邊未帶錢款，乃向飯館老板商量，說待他回去即拿錢送來。老板執(zhí)意要他把身穿的紡綢長衫脫下抵押，薩老先生因此十分尷尬。恰巧張小林也在這家飯館吃飯，一時豪興，便出頭代他付了飯錢。

忽然有一天，茶館門前來了大隊人馬，威風凜凜，指名要見張小林。張小林驚悸不已，自以為是作惡多端犯了事。不想一見之下，發(fā)覺為首的海軍上將竟是自己上次代付飯錢的老者。張小林不由喜出望外，連忙將薩鎮(zhèn)冰讓進茶館。這樣一來，原為杭州混混的張小林名聲一下提高不少。

張嘯林從一個“杭州青皮”起步，后來竟被蔣介石封為“少將參議”，儼然流氓中的“修成正果”者。