大正12年9月1日の関東大震災によって、東京大学も甚大な被害を被りました。中でも、深刻だったのは図書館の全焼でした。旧幕時代から受け継ぎ、築きあげられた所蔵図書が、瞬時に灰塵と帰してしまいました。その中には、マックス・ミューラー文庫や「古今図書集成」など和漢洋の貴重な図書が数多く含まれていました。わずかに、焼失をまぬがれた図書(「焼け残り本」)を残すのみとなってしまいました。
東京大学は、震災後直ちに、図書復興委員会を組織し、図書の復興運動を開始します。幸いにも、国内から「南葵文庫」や「青州文庫」（一部）をはじめとして、多数の貴重な図書の寄贈の申し出がありました。さらに、震災直後より各国大使館から援助の申し出が多く寄せられました。国際連盟においても図書復興援助の決議が採択され、海外30数カ国から数多くの図書の寄贈を受けました。また、東京大学自身も多額の予算を費やし、内外の貴重な資料を購入しました。その甲斐あって、所蔵図書冊数は昭和2年に55万冊に及ぶにまで回復しています。
焼失した図書館についても、図書復興と平行して進められていきます。大正13年に図書館再建と図書の復興のためにとジョン・ロックフェラー・ジュニア氏より400万円の寄付の申し出が寄せられました。東京大学は、即座にこの申し出を受諾し、これを財源にして新図書館を建設することを決定しました。直ちに古在由直総長を委員長とする図書館建築委員会が組織され、姉崎正治館長を欧米に派遣し、設計・設備について調査をおこないました。また、キャンパス構想全体も手がけていた内田祥三氏（当時営繕課長兼図書館建築部長で後に工学部教授、さらに東大総長となる）の設計監督の下で、具体的な新図書館の建設計画が進められました。大正１４年末には、早くも設計が決定しています。
ちなみに新図書館の計画案については、立案した内田祥三と姉崎図書館長の間で激論が展開されたといわれています。内田祥三氏はキャンパス構想全体との整合性を唱え、姉崎館長は図書館としての機能を重視し設計の変更を主張しました。姉崎館長の主張は、各階の床高（内田氏の案では一階と二階の階高が大きく違っていた）を揃え、書庫と閲覧室の構造の大きな相違を避けることにありました。現在の建物をみると、当初の計画どおり、内田祥三氏の案に近いものに落ち着いたと推測できます。
翌大正１５年には工事に着手。完成は昭和３年で、同年１２月１日に竣工式を迎えています（以後１２月１日は開館記念日となっている）。震災の教訓を生かし、鉄骨鉄筋コンクリート造りで頑強な構造を備え、地下一階、地上三階、中央部のみ五階であり、内側には７層の書庫が設けられました。外壁には淡褐色のスクラッチ・タイルを貼り、ゴシック風の細部とアーチをもつ入口を用いた外観のデザインは、キャンパスの他の建築物と均しく調和がはかられました。