1909年清政府成立了游美學務處，負責直接選派學生游美，同時著手籌設游美肄業館。1910年11月，游美學務處向外務部、學部提出了改革游美肄業館辦法。其中提到，因已確定清華園為校址，故呈請將游美肄業館名稱改為“清華學堂”。12月，清政府學部批準了這個改革辦法。之后，清末兼管學部和外務部的軍機大臣那桐于宣統辛亥年（1911年）為清華學堂題寫了校名。我們今天看到的清華學堂大樓大門外，正額“清華學堂”四字即為那桐手書。
清華學堂大樓分西部、東部兩期建成。其西部建于1909～1911年，學校同期興建的還有二院（在清華學堂以北、電機館的西邊，現已拆除）、三院（在大禮堂以北，現已拆除，在其原址擴建新圖書館）、同方部等一批建筑。俟這批建筑基本竣工后，清華學堂于1911年4月29日在清華園開學，這就是清華歷史的開端。周詒春校長到職后積極籌備改辦大學，在任職期間（1913年8月～1918年1月）又蓋了一批適應未來大學需要的高標準建筑（清華著名的“四大建筑”——大禮堂、圖書館、科學館、體育館均始建于周詒春任內）。其間，1916年清華學堂大樓向東進行了擴建，擴建后總建筑面積達4560平方米。當時清華學堂是清華園內第一座“大樓”，雖然高不過兩層，但因四大建筑那時還未落成，故在當時的校園建筑中已是鶴立雞群了。
清華學堂大樓西部建成后成為高等科學生的教室，東部建成后曾是高等科畢業班的學生宿舍，所以歷史上也稱“高等科”。高等科宿舍的設施相當華麗舒適，有閃閃發亮的打蠟地板，能抵御北方風沙的雙層拉窗。據1923年畢業于清華學校的梁實秋先生回憶：“臨畢業前一年是最舒服的一年，搬到向往已久的大樓里面去住，別是一番滋味。這一部分的宿舍有較好的設備，床是鋼絲的，屋里有暖氣爐，廁所里面有淋浴有抽水馬桶。不過也有人不能適應抽水馬桶，以為做這種事而不采取蹲的姿勢是無法達成任務的……”在這里，當時清華學校的學生在畢業留洋前，已可以預先領略一下西方的生活方式了。
上個世紀二十年代，清華學堂曾是培養國學人才的搖籃。1925年，曹云祥校長執掌校政時，清華增設新制大學部和國學研究院。學校特別注意延聘名師，先后聘請了王國維、梁啟超、陳寅恪、趙元任等著名學者擔任清華國學院的“四大導師”。他們和考古學家李濟、文學家吳宓等薈萃于清華學堂，培養學生分別研究中國文、史、哲諸學。國學研究院開設了古史新證（王國維先生）、中國通史（梁啟超先生）、方言學（趙元任先生）、人文學（李濟先生）等課程，除中國通史在同方部外，其余課程均在清華學堂117號教室講授。由于種種原因，清華國學院于1929年終結。國學院存在的時間雖短，但為我國培養了一代國學專家，其中成就卓著為人們所熟知的有：姚明達、羅根澤、陳守寔、劉盼遂、劉節、陸侃如、謝國楨、王力、高亨、王靜如、徐中舒、姜亮夫、戴家祥、蔣天樞、朱芳圃等。
在20世紀三四十年代，學校的教學、行政等領導機構基本都設在清華學堂大樓里。解放初期，學堂西部仍是校領導機關（校委會）所在地，東部的一部分曾用作中共清華黨總支的辦公室。五十年代以后，梁思成為主任的清華建筑系遷入此樓，清華學堂大樓成為建筑系專用系館。那時，人們步入清華學堂，會看到門廳和長廊上懸掛了琳瑯滿目的名畫，感受到濃厚的文化藝術氣息。然而在“文革”期間，清華學堂大樓因年久失修遭到了嚴重損壞。
文革”結束后，關于如何處理這座殘舊的建筑，曾存在著不同的意見。在劉達校長的堅持下，由張維副校長親自向技術室下達修繕加固任務。1978年底學校基建處許大華等人經丈量重新繪制了、檔案館目前僅存的清華學堂的建筑圖。在翻修過程中拆除了一樓腐朽的木地板，填平了積水的地下室；為了抗震還用鋼材加固了二層樓板和整體結構，外觀也被修葺刷新。如今清華學堂建筑面積僅有3600平方米，作為清華園內早期的文物建筑被保留了下來。但是屋面原為紅瓦，現為（內側）灰（外側）紅兩色瓦。外部磚石經歷多年風化侵蝕，現開裂剝落較多。清華學堂是校園里最引人注目的早期建筑之一，保護修復它，仍需做很大努力。在七八十年代，這里曾為精密儀器系工程制圖教研組所用，并有全校公用制圖教室。目前，清華學堂大樓是學校研究生院、教務處、科技處、注冊中心等機構的辦公場所。
1990年代末，清華校教務處遷入東半部，成為全校學生返校注冊的必到之處；校研究生部遷入西半部，從此結束了清華學堂用作教室的歷史。
2001年，清華學堂作為“清華大學早期建筑”的一部分，進入國務院公布的全國重點文物保護單位名單。