李的家族是美國歷史上最為悠久和顯赫的家族之一。最早踏上美洲土地的李氏家族的成員是托馬斯·李（Thomas Lee），其為俄亥俄公司的創始人，作為傳統的英國貴族曾是殖民地最高會議（The governing Council of the colony）的成員和弗傑尼亞州的州長。托馬斯·李更是富甲一方，在弗傑尼亞和馬里蘭擁有多大1萬6千英畝的種植園，同時其也是整個殖民地區中擁有最多黑奴的人之一。托馬斯死於1750年，生後留下了大批的財富和8個孩子。大兒子菲利普·李繼承了這筆龐大的遺產，成為了新的一家之主。羅伯特·愛德華·李
緊隨其後的就是，北美十三個殖民地要求獨立的風潮。雖然英國在“七年戰爭”中戰勝了法國成為了北美殖民地的主宰，但是它卻不得不去面對戰爭造成的巨大債務，到頭來這筆錢還是加在了殖民地的頭上，各種各樣的新增稅額層出不求。隨之而起的就是越來越來大反對英國的呼聲，作為最老的殖民地之一的維吉尼亞更是在這次風潮中走在前面。李氏家族當然也無法置身事外，而他們則站站在了堅決要求獨立的一邊。李氏兄弟中的弗朗西斯·賴特福特·李（Francis Lightfoot Lee）也作為弗傑尼亞的代表之一參加了《獨立宣言》（Declaration of Independence）起早和簽署。同時托馬斯·李大女兒馬提搭·李的，她的表哥，丈夫亨利·李（Henry Lee III）很快就參加由喬治·華盛頓領導的大陸軍，成為了龍騎兵軍官。他曾在新澤西的帕里斯-好科（Paulus Hook, New Jersey）指揮了一起成功的突襲，僅以一名士兵受傷的代價活捉了400名錯愕的英國皇家步兵。之後贏得“小馬亨利”（Light Horse Harry）的外號，成為了華盛頓手下最為出色的騎兵指揮官，追隨其南征北戰直到約克鎮，戰後也同樣被輿論看作“國家英雄”。1790年，馬提搭·李由於感染了傷寒辭世，同時也留給了亨利-李位於弗傑尼亞斯特弗拉德大莊園，這曾是托馬斯·李產業中的一部分。1793年，亨利·李再婚取了安妮·希爾·凱特（Ann Hill Carte）為妻。14年後，也就是18071月19日年亨利-李老來得子，他給這個健康，強壯的男嬰，取名羅伯特·愛德華·李。而這個嬰孩之後成為了比他父親在美國歷史上更有影響力的人物，當然這不是當時的亨利·李所能預見的。
家中的現狀同樣也造成了離相當早熟的性格，整日以書為伴，很少出門像同齡人那樣嬉戲玩樂。到了1825年，他18歲的時候，李以順利地考入了耶魯大學。然而當李興奮地收到了耶魯大學錄取書的時候，卻不得不面對一個重大問題就是其家中的根本無力支付他的學費。雖然，母親表示哪怕再去借錢也要供他讀書，但是李很明白母親這幾年來的勞苦。最終李無奈地向西點軍校提出了申請，那裡是唯一既可以讓他受到良好高等教育又不用交付學費的地方。西點軍校很快就批准了他的申請，之後李也第一次離開了自己的家鄉—弗吉納亞州到了位於紐約州的軍校。軍校中的李，成功展現了他的傑出才華，他學業位於1825屆的第二名，同時被授予傑出榮譽學員，得到了講師的一直讚美。對待同學總是態度謙和虛心，從不會以自己的良好成績去炫耀。與人正直誠實，幾乎從不對任何人發脾氣。四年後，校方在畢業評價中寫道“此生表現傑出卓越，實為我校近年來少有的尖子。據其在校的表現，我們沒有發現此生有任何不良的缺點。”畢業後，李被授予少尉銜，派往了工程兵軍團（the Corps of Engineers）。
就李個人而言，他是個徹底的人道主義者，雖然他是個以殺戮為職業的軍人，李終其一生都很為自己作為軍人而覺得內疚。對於奴隸制度，他的看法同樣如此，基於自己的道德理念，歷來反對蓄奴。在他的家鄉維吉尼亞蓄奴是合法的。可是，當後來的北軍統帥，戰後的美國總統，現在印在50美元鈔票上的格蘭特將軍還沒有解放自己家的奴隸時，李將軍已經率先解放了自己家族的全部奴隸。按理自己的話來說蓄奴制度是一種“道德和政治上罪惡”（A moral and political evil），“白人的一項巨大罪惡”（A greater evil to the white）。李對於中央政府和地方的關係上的問題，他同樣是有著很獨特的看法。他曾在自己的日記中寫到“美國應該是一個團結的整體，沒有什麼所謂的北方，南方，西部又或是東部。”
然而當北方聯邦政府宣布將動用軍隊武力鎮壓南方獨立州的時候，弗傑尼亞州當即表示對聯邦政府的譴責，州議會宣布弗傑尼亞州脫離聯邦加入了南方邦聯。而此時接到了北方聯邦政府接到了陸軍部和總統林肯親自發出的任命信，準備晉升他為聯邦軍準將。在接到信後整整長考了三日，李從來不贊同南方分裂的主張，他熱愛由自己的父親和曾岳父參與建立的合眾國。但是，他基於道德立場，同樣不贊成北方以武力解決南方的分離訴求。在他自己看來他實在無法去和自己的家鄉和親人作戰廝殺。4月23日，李拒絕了聯邦政府的邀請，接受了南方邦聯總統的要求掌管了維吉尼亞州的防務。8月31日，李被晉升為上將，短暫地擔任了一個月的南軍總司令，後由總統戴維斯兼任，李擔任了南軍總參謀長。接著開始負責南卡洛拉那州和喬治亞州負責海岸防線的修築工作，以防止北軍通過海軍的優勢侵入登入。到了1862年3月，李回到了南方首都里奇蒙。到了5月，北軍總司令麥克艾倫率領著10萬大軍從華盛頓出發沿著波特馬克河南下，在里奇蒙附近的半島登入，開始了對里奇蒙的攻略作戰。此時的一線指揮官將斯頓則是正好受傷（Joseph E. Johnston），你就改組了他的軍團以總參謀長身份出任軍團長，李命名其北弗傑尼亞軍團。
當南軍們一走出樹林就遭到了北軍炮火的密集打擊，他們不得不走上一英里的路去進攻南軍陣地。北軍把所有火炮從四面八方地砸向在這一大片開闊地行進的南軍三個師。南軍的損失是可以想像的，士兵如同割草一般地倒在炮火中。先是遠程榴彈炮，接著又是高速加農炮，當終於接近後還要去翻越一個長長的柵欄的阻擋。之後又遭到了等候多時的北軍步兵槍林彈雨的無情打擊。皮吉特衝鋒只持續了短短的一個小時，然而約雙方有1萬2千人倒在了血泊中。南軍皮吉特師幾乎全軍覆滅，除了他本人及其參謀人員外，幾乎所有校級以上的軍官全部戰死。三個師總計3名準將，18名上校，31名中校，46名少校陣亡。之後，南軍其實也在等待北軍的反擊，可是米德並沒有發起。到了晚上7點，北軍也沒有任何行動，於是李將軍決定全軍撤退，退回弗傑尼亞。這成為了李一生遭受的第一次也是唯一次戰敗。戰役後，李不停地流著淚，哽咽著對士兵們說道：“It is fault! It is all my fault! My friend! It is my fault!!”李曾對朗斯特將軍這樣說道：“你我並不懼怕自己的死亡，你或是我的。然而最為一個指揮官最痛苦和困難的事情就是驅趕著士兵們去獻身去死亡。他們並不是為了我們而死。不，閣下，絕對不。我會為此深深地悔恨和懺悔一輩子。”
同時李得知了謝爾曼已經侵入了喬治亞洲，以掃蕩般的政策蕩平了那裡後，謝爾曼的部隊開始向東北進軍開始了對李背後的襲擊。此時的李已經開始意識到了南方最終日子的到來已經是為時不遠。直到這個時候南方邦聯總統戴維斯才任命了李為南軍武裝力量總司令（General-in-chief of all the Confederate armies），然而這已經太遲了。另外，邦聯國會通過法案，給於參軍黑奴的自由，開始徵招黑人入伍。
遵照這樣的信條，李正式成為了校長。任期內，他在華盛頓大學開創了美國歷史上的第一個新聞系和商業系，改善了學校的財政狀況，一座座高大的教學樓在校園裡崛起。這所大學一度也成為了美國最大學院之一。在教育哲學上，提出了終生學習的必要性。按他自己話來說就是“一個人的教育一直到他的死去才算是結。“（The education of a man is never completed untill he died）束最近翻開一部復旦大學編譯的《英語世界名言辭典》（ISBN 7-12-00688-2/G-93），其中在也收錄李，然而在其頭銜的介紹上卻是如此“美國教育家“（U.S. Educator），也許這是編譯方的一個錯誤，但是這也許也未嘗不是李自己的夙願吧？1870年10月12日，由於心臟病突發李倒在自己的校長辦公室，送到醫院後於黃昏時去世，享年63歲。
羅伯特·愛德華·李