人類從很早以前就開始相互測試智力。在中國的西周時代（公元前1046到公元前771年），擔任官職的候選人需要接受正式的測試，標準包括「六藝」：禮、樂、射、御、書、數。而普遍、客觀的智力等級的概念，直到19世紀達爾文主義的產生才成型。如果說查爾斯·達爾文(Charles Darwin)是現代生物學之父，那麼現代智力測試之父就是他的外甥弗朗西斯·高爾頓(Francis Galton)——統計學家、博學家和優生學的奠基人。1884年，他在倫敦的國際健康展會上建立了一個「人類測量實驗室」，爲探索人類的身體和智力特徵之間的聯繫，他對9000多名男性和女性測量反應時間、視力、色感和手的穩定性，以及其它項目。
在尋找天才的過程中，高爾頓沒能開發出可行的智力測試方法。這一任務留給了法國心理學家阿爾弗雷德·比奈(Alfred Binet)和他的學生維克多·亨利(Victor Henri)。比奈被指派對市內收容所的大量貧苦兒童進行研究，以查明他們究竟是智力缺陷還是僅僅缺乏教育。1904年，他得出一個有30項指標構成的測試結果——從眼睛能否跟蹤點亮的火柴，到記憶力和辭彙問題——爲現代智力測試提供了基礎。1916年，史丹佛大學(Stanford University)心理學教授路易斯·特曼(Lewis Terman)修訂並擴展了測試，創立了史丹佛-比奈智商測試，這個測試一種沿用至今。儘管特曼與同時代的大多數人相比較爲溫和，但他信奉社會達爾文主義——1930年，美國24個州通過了絕育法——並期待他的工作具有潛在的社會效益。「這項工作，」他1919年寫道，「最終將導致減少有智力缺陷的人口的繁殖。」
自此，事實證明，智商測試存在爭議。在美國，二次世界大戰期間，有逾900萬男性接受了不同形式的智商和能力測試，測試的熱情只有有關智商究竟證明了什麼的激烈辯論才能與之相提並論。兒童智商測試、大學院校申請人的學術能力評估測試(SAT)中的推理測試，以及公司的心理測量測試，它們的設計初衷是識別個體的天份，但其更廣義的後果是突顯了社會固有的差異。性別和族羣差異導致了有關歧視和不平等以及權力的有害爭議：誰來定義智力？誰來設計測試？在美國有關智商測試的種種辯論反反覆覆，一般都回到黑白人口結果之間持續存在的差別上，雖然這種差別已在縮小。