這個騎士團的創始者最初住在毗鄰救世主教堂的耶路撒冷王宮的一角,而救世主教堂的原址是阿拉伯伊斯蘭教的一個清真寺,據傳此地原是所羅門國王的神殿,“聖殿騎士團”的名稱由此而來,有時也譯為“神殿騎士團”(The Poor Fellow-Soldiers of Christ and of the Temple of Solomon)。另一種說法是,據說當時的耶路撒冷國王鮑德溫二世把猶太教聖殿內一部分院落劃予法國騎士們作為駐地,因而得名。
不過事情很快又有了轉機,當時波蘭的馬佐維亞大公康拉德(Konrad von Masowien)企圖向北邊的庫默爾蘭(Kulmerland)地區擴張,結果被當地的原住民普魯士人打敗,他不但沒能擴張領地,他原先的領地反被普魯士人攻占了一部分。康拉德很鬱悶,於是以宗教為名,號召討伐庫默爾蘭(Kulmerland)的異教徒,可是波蘭的其它諸侯都不理他,似乎在等著看笑話,那邊的普魯士人十分兇悍,他的軍隊節節敗退。在走投無路的情況下,康拉德向條頓騎士團求援,希望騎士團幫助他征服普魯士人。
如果說安德烈二世請騎士團幫他鎮壓庫曼雷人是因為無知犯的錯,那康拉德請騎士團幫他征服普魯士人就只能用愚蠢來形容了。當然其它的波蘭諸侯也都脫不開干係,要是他們早點幫康拉德一把,康拉德也就不用引狼入室了,最後全都成了受害者。得到這個邀請後,條頓騎士團當然是滿口答應,不過他們可不想重複在匈牙利的故事。騎士團大團長赫爾曼·馮·薩爾扎(Hermann von Salza)先跑到神聖羅馬帝國皇帝菲特列二世那兒,從皇帝那兒討到了一份黃金詔書:條頓騎士團有權占有康拉德贈予的土地和他們征服普魯士人後獲得的土地,對騎士團領地的進攻將遭到神聖羅馬帝國的嚴厲懲罰。有了菲特列二世的書面保證,條頓騎士團將名正言順地占有他們征服的土地。康拉德此時開始後悔了,為了避免條頓騎士團在他旁邊紮根,康拉德組織了一個騎士團—普魯士的基督騎士團,自己討伐普魯士人。這次他又失敗了,他甚至連自己領地的核心部分都無法守住,此時康拉德只好低頭認輸。1230年,在他和條頓騎士團簽訂的條約中承諾:如果條頓騎士團征服庫默爾蘭(Kulmerland),他將把這塊土地永久贈予騎士團。這也就是說條頓騎士團對庫默爾蘭(Kulmerland)擁有所有權,而非封地—封地的所有權仍然屬於君主。1234年,教皇格利高里九世Gregor IX又頒布了黃金詔書,承認騎士團對他們征服的土地的所有權,同時要求他們將當地原住民基督教化。這樣,條頓騎士團獲得了三重的書面承諾,他們剩下要做的就是征服這塊土地了,這顯然是他們最拿手的。
騎士團國南面的波蘭原本四分五裂,根本不是騎士團的對手。但到14世紀上半葉,波蘭在國王瓦迪斯瓦夫一世沃凱太克(Władysław I the Elbow-high,不是Władysław I Herman)的領導下再次團結起來,跟騎士團的關係也變得緊張。1308年騎士團占領但澤和波莫瑞(Pommerellen)使兩國之間的關係急劇惡化,即便在1343年的卡里施和約中波蘭承認了騎士團國對波莫瑞(Pommerellen)的占領,雙方的敵意仍未打消。波蘭對騎士團國的仇恨是騎士團國重要的潛在威脅。不過儘管如此,14世紀下半葉,騎士團國在大團長溫里希·馮·奈普奧德(Winrich von Kniprode,1351-1382)的領導下達到了最強盛的時期,在1370年他們擊敗了立陶宛—騎士團在東方主要的敵人。
1410年,騎士團國和波蘭-立陶宛聯盟在塔能堡附近爆發了一場大規模戰役,這場戰役是歐洲中世紀歷史上規模最大的一次騎士戰爭。騎士團的兵力要少於聯軍。騎士團大團長烏爾里克·馮·瓊寧根(Ulrich von Jungingen)在戰鬥中陣亡。騎士團陷入混亂,許多騎士逃離戰場。聯軍抓住這一良機發動衝鋒,將騎士團軍隊擊潰。塔能堡一戰使騎士團遭受了毀滅性的打擊,其意義類似於哈丁戰役對於耶路撒冷王國的意義。騎士團國就此走上了衰亡的道路。
路德的宗教改革使騎士團再一次走上歷史的分水嶺。1511年,來自霍亨佐倫家族的年僅21歲的阿爾伯特(Albrecht of Brandenburg-Kulmbach)被選為條頓騎士團第37任大團長,他也是作為一個軍事修會的條頓騎士團最後一任大團長。1520年,由於阿爾伯特(Albrecht)拒絕臣服於波蘭,騎士團國與波蘭之間爆發戰爭,騎士團國被擊敗。鬱悶之下,阿爾伯特(Albrecht)回到德意志。