中行上海分行1912年開業(yè)，在上海漢口路50號大清銀行舊址辦公營業(yè)。第一次世界大戰(zhàn)結(jié)束后，中行向政府購進(jìn)接收的外灘德國總會會址，于1923年2月從漢口路遷入黃浦灘仁記路22號，從此中國銀行在外商銀行云集的外灘有了一席之地。

1928年中行總管理處由北京南遷上海，與上海分行同在漢口路辦公，當(dāng)時中行業(yè)務(wù)不斷發(fā)展，此處房屋便漸漸不敷使用，加之年久失修，急需翻造。于是1930年中行買進(jìn)仁記路和圓明園路地皮，并從1930起，上海分行開始在每年盈余下提取50萬元作為建造行屋基金。

促使中行領(lǐng)導(dǎo)人決定在外灘租界內(nèi)建造大廈的主要原因，據(jù)張嘉璈自述：“中國銀行飽經(jīng)風(fēng)浪，未見動搖，內(nèi)部組織既已革新，銀行實力足與駐在上海的歐美銀行相抗衡，必須有一新式建筑，方足象征中國銀行之現(xiàn)代化，表示基礎(chǔ)鞏固，信孚中外。”

1934年4月中行董事會決定建造一座18層大廈，以供總處和上海分行辦公與營業(yè)使用，預(yù)算基建費用600萬元。當(dāng)時附近建筑英商沙遜大廈是外灘第一高樓，英方不愿中行大廈的高度超過它，于是多次阻撓。中行大廈圖樣幾經(jīng)變更，最后決定建15層，屋頂至底層高227英尺，大門高25英尺，占地面積55000平方英尺。1936年10月10日中行董事長宋子文主持了大廈的奠基典禮。

時任中國銀行董事長宋子文用英文簽名的新廈奠基紀(jì)念證

1937年大廈主體工程大致完工。大樓前面的高塔中的二、三、四層是董事會和總經(jīng)理的辦公室；底層營業(yè)大廳，兩邊是黑色大理石柜臺，柜臺呈“中”字型，柜臺里面豎著八根粗大的大理石柱子，柱子頂端雕飾“八仙過海”。大廳東西兩端上面是兩幅巨大的油畫，畫著孔子和孫中山等偉人像和漁樵耕讀圖，配以花格子門和宮燈，典雅古樸，盡現(xiàn)東方文明色彩。大樓的保管庫面積約500平方米，有大小保管箱10084只，保管箱和庫門均用不銹鋼制成，圓形庫門重達(dá)10噸，厚85公分，防火、放水、防盜警報，設(shè)備齊全，是當(dāng)時遠(yuǎn)東第一，直到新中國成立時，上海也只有這一座精密、完整的庫房。

上海中國銀行大廈

在上海租界里，高層洋樓林立，由中國銀行自己出資，中國工人自己建造的中國銀行大廈在外灘屹立起來，改變了“洋人世界”的局面，體現(xiàn)了中國銀行勢與外商銀行一爭高低的決心和信心。