望耳樓地處長江南岸半山間，與下浩相近，南接老碼頭，西連棗子灣。相傳大禹離家治水，其母建“望兒樓”，終年遙望，盼其歸來。后諧音稱“望耳樓”。

望耳樓石梯長達(dá)幾百米。由于坡度大，外側(cè)無法建房，大部分街巷成為只有內(nèi)側(cè)房屋的半邊街。望耳樓一帶房屋依山建造，層層疊壘。建筑形式豐富多彩，有吊腳樓、騎樓、挑樓、走馬轉(zhuǎn)角樓等。

1912年，當(dāng)?shù)厥考澗栀Y，在望耳樓創(chuàng)辦巴縣縣立第一女子小學(xué)。1927年，第一女子小學(xué)改歸市屬，更名為市立第七初級小學(xué)，兼收男生。1934年添辦高小，更名為市立第十一小學(xué)。1938年9月遷至涂山，后更名為龍門浩小學(xué)?？箲?zhàn)時期，望耳樓80號曾作美國大使館辦公之用。