位于重慶市渝中半島中部的制高點枇杷山，海拔354米，視野開闊，環(huán)境宜人。它原為荒山墳坡，其枇杷山之名，一說因早年山上多枇杷樹，另一說因山形似琵琶，遂諧音枇杷。1937年，原國民黨四川省主席王陵基在山上修建了一座私人花園別墅，取名“王園”。在枇杷山下馬路斜對面，則有最后一任國民黨重慶市市長楊森的公館別墅，原名“渝舍”。這兩處館舍，在1949年底重慶解放時收歸國有。當(dāng)時，重慶是西南地區(qū)黨政機關(guān)的駐地，機關(guān)用房需求量很大，因此，“王園”、“渝舍”被選作重慶市委、市政府的機關(guān)駐地。

剛解放的山城重慶，上百萬人口集居在方圓不足10平方公里的半島上，市區(qū)坡坡坎坎，街道狹窄擁擠，整個市區(qū)只有一個中央公園(后改稱人民公園)。鄧小平進(jìn)駐重慶后，深感重慶市民群眾文化娛樂休閑的場所太少了，他多次強調(diào)：要把豐富人民群眾文化生活當(dāng)成一件大事來抓，要讓人民在節(jié)假日有休息游玩的地方。與機關(guān)用房緊張相比，在鄧小平心目中，人民的休閑娛樂更為重要。他對重慶市委、市政府占用可供市民休閑游玩的花園別墅很有意見。在一次會議上，他嚴(yán)厲地批評了當(dāng)時的重慶市委書記兼市長陳錫聯(lián)，他說：你們的群眾觀念哪里去了?那么大一個重慶市，連一個公園都沒有，你們居然把這么大片非常適合人民游玩的場所占了，“王園”占了，“渝舍”占了，限定你們搬出，一定還給人民。

陳錫聯(lián)聽到批評后，一時又無法搬出，心里很著急，專門寫了一份書面檢討，呈報給西南局，沉痛檢查自己沒有群眾觀念的錯誤。到了1950年9月，陳錫聯(lián)調(diào)北京任新職，重慶市委仍然沒有找到地方可以搬出，他再次向西南局領(lǐng)導(dǎo)作了檢討。臨行前還一再向市委書記張霖之、市長曹荻秋交待，一定要盡快想辦法從“王園”、“渝舍”搬出，把這些地方擴(kuò)建成供群眾游樂休息的公園。

直到1954年，重慶的財政收入有了較大增長，重慶市委、市政府機關(guān)才有條件先后從“王園”、“渝舍”遷出。市委、市政府又撥出專款，把“王園”擴(kuò)建成景色宜人的枇杷山公園，“王園”的原辦公房屋成了重慶市博物館。當(dāng)時建成的枇杷山公園是重慶市最好的公園，山頂上專門修建的紅星亭則是中外游客觀看山城夜景的最佳地點。

1955年，重慶市委、市政府又在“渝舍”占地26000多平方米的土地上建成了西南第一座大型少年宮，不僅讓重慶少年兒童有了自己活動的場所，也了卻了鄧小平多年的心愿。