1900年代,德意志帝國為趕上最後一波的殖民浪潮和阿爾弗雷德·馮·提爾皮茨(Alfred von Tirpitz)對海軍擴張的提倡,而與國際列強展開建造無畏艦的軍備競賽,並建立了一支世界上規模數一數二的艦隊。第一次世界大戰爆發後,德國水面艦隊—公海艦隊不僅多次與英國皇家海軍交戰,還以潛艇部隊發起無限制潛艇戰,擊沉多艘協約國船隻。然而在日德蘭海戰後,德國海軍雖獲得戰術上的勝利,卻被封鎖於港灣中而無法行動。公海艦隊司令的萊因哈特·舍爾(Reinhard Scheer)上將無法讓艦隊出擊,取得比潛艇部隊更高的戰果,而其水兵士氣日以降低,最後引發了基爾港水兵叛變的德國革命。1918年11月11日,德國投降。根據停戰協定,公海艦隊需駛入英國斯卡帕灣扣押,然而艦隊卻在1919年6月21日被德國海軍路德維克·馮·羅伊特(Ludwig von Reuter)中將暗中計畫的彩虹行動集體自沉,目的是防止船隻被戰勝國所瓜分。協約國對此行動極為不滿,以德國違反協定為由,將其幾近全部有登記的船舶沒收、拆走碼頭設備、各大造船廠機具相繼被解體,並在往後的條約和限制中對德國海軍更加嚴格。在彩虹行動和5艘現代化的輕巡洋艦作為戰爭賠償後,德國海軍僅剩下8艘舊型無畏艦(拿騷級,Nassau class battleship)和赫爾戈蘭級、32艘驅逐艦和魚雷艇,數量少、性能也過時,僅能做海防一用。1921年1月1日,依照《凡爾賽條約》規定,德國成立了新的國家海軍,作為魏瑪共和國的海軍力量。
德國潛艇曾在一戰取得輝煌戰績,然而在《凡爾賽條約》禁止建造潛艇和協約國監管後,各大船廠雖有世界領先的潛艇技術卻苦無客戶,這時日本與阿根廷聯繫了德國數個造船廠,希望購買設計圖與轉授技術以建立本國潛艇部隊。這兩個規模龐大的生意使得德國串連了各大造船廠和企業,由克虜伯發起,聯合成立了一家空殼公司——船舶建設工程局(NV Ingenieurskantoor voor Scheepsbouw),總部設於荷蘭海牙,以躲避凡爾賽條約的監督。船舶建設工程局存在目的除了為整合各造船廠技術和資源、聯合接訂單外,也要和國際潛艇技術接軌,使德國不至於落後。但到了1925年,船舶建設工程局經營不善,在面臨倒閉的情況下,德國海軍私下與其公司人員聯繫。德國海軍也透過一個名為“結算諮詢公司”的空殼企業加入了船舶建設工程局的投資,並在之後注資了100萬馬克,成為該公司最大股東,還額外許諾每年補貼12萬馬克,軍方要求該公司為德國重建潛艇部隊保有新技術和設計,原本為國內造船業解決財政問題的船舶建設工程局因此轉為德國海軍專門的研究機構。除了船舶建設工程局外,海軍還接觸了其他民間企業,同時進行水雷、魚雷磁觸發引信和艦載機液壓彈射器的研究。
Z計畫的結構是由德國海軍兩種的戰略思想集結改良而成。最初德意志帝國海軍是一支由陸軍將領擔任指揮的小型艦隊,陸軍的戰略與戰術上也影響海軍甚劇,其後德國海軍之父提爾皮茨過去主張“風險理論”與引誘敵人部分兵力來進行艦隊決戰的想法,但其因為德國地理位置的致命缺陷,導致一戰中期日德蘭海戰爆發、與英國整支大艦隊交火後,公海艦隊被封鎖,因為提爾皮茨個人的影響力甚劇,德國海軍直到魏瑪共和時期仍有保持其戰略觀點。1926年,沃夫岡·魏格納(Wolfgang Wegener)海軍中將首次提出了地緣戰略和存在艦隊的套用理論,並對海軍內部提出德國對英國的地理劣勢重要性、戰略目標的檢討,認為提爾皮茨在海戰中過於注重消滅敵人艦隊的有生力量,而沒有將其作以更靈活的套用,專注進行破交戰。德國在地理位置上一直處於不利位置,英國的海上生命線位於大西洋西側,而德國附近的海域僅有北海和波羅的海,德國艦隊在試圖穿越抵達至大西洋前就會遭到英國其近於本土的艦隊攻擊,且能有效的支援,反之德國則無。魏格納雖提倡控制海上交通線和在地緣戰略上有其著眼點,卻過度輕視了英德兩國的艦隊質與量上的差距,認為地理優勢可以完全彌補一切。即使如此,因為一次大戰提爾皮茨理論的失敗,德國海軍轉而認為魏格納的“交通控制”理論才是其海軍發展的進取核心,並在軍中刺激許多年輕軍官的其相關戰略研究,但也受到保守軍官的批評。魏格納提出新海軍思想的同時,德國海軍正於納粹黨統治並開始規劃重建艦隊的工作,正需要一個軍事學說來決定路線,新海軍思想中以雨果·馮·瓦德葉-哈茲的《明日的海戰》(Naval Warfare of Tomorrow)論文對其觀點的敘述最為完整與極端,認為艦隊間的戰鬥已過時,將來海戰的發展會轉為對海上貿易線商船的攻防戰,而1920年代的德國海軍也接受了此思想。
起初德國海軍戰果頗多,擊沉不少同盟國商船,但因為希特勒對水面艦隊始終印象不佳,認為其建造緩慢且戰果小;而潛艇部隊建造速度快,還在法國陷落而取得西部港口後,對英國發動大規模的潛艇戰中取得一系列豐碩的戰果。德國海軍隨著戰事的進行,開始將戰力中心自水面艦移往潛艇部隊的“噸位戰”,而前者逐漸轉為存在艦隊的功能。德國海軍的潛艇數量在戰爭爆發時是當時世界海軍列強中最少者,但因為潛艇總司令卡爾·鄧尼茨以狼群戰術、先進的通信制度和戰略規劃而取得所有交戰國潛艇部隊里最大的戰績。到了1943年,德國潛艇在大西洋越來越力不從心,盟軍不但破解了密碼機和開發多種先進反潛武器,如更先進的聲納、雷達、深水炸彈,還投入了大量護衛航空母艦和反潛戰鬥群進行護航;同年5月,德國潛艇因為損失過高而放棄了狼群戰術,改採單艦巡弋。戰爭末期,德國海軍雖研製了先進的通氣管式潛艇,如XXI級潛艇和XXIII級(German Type XXIII submarine),並投入使用直到戰爭結束,但仍無法扭轉戰敗的結果。
1942年3月14日,希特勒下令將北極船團定為與俄國戰役相關的重要戰略目標,要求將其徹底阻絕。但運往摩爾曼斯克港口的船團僅受到德國在挪威的海空軍零星攻擊,主要是德國燃料短缺,嚴重限制了艦隊的作戰能力,1942年4月德國海軍僅能獲得月需求量10%的燃料,但潛艇因為使用柴油而未受影響,成了該地區真正的攻擊主力。1942年12月31日,在挪威北海爆發了巴倫支海海戰,錯失殲滅援蘇北極船隊的機會,希特勒對此結果十分不滿,也成了德國水面艦命運的轉折點,下令拆毀所有含驅逐艦的艦隊和取消水面艦的建造,將艦上的火炮、裝甲與官兵用以加強大西洋長城的防禦設施,雷德爾抗辯無效後就自己請辭了,而鄧尼茨則被任命為新的海軍總司令。鄧尼茨雖為潛艇指揮官但了解艦隊存在之價值,他說服了希特勒保留了水面艦隊(但停止了建造),改將海軍資源都投入潛艇中。在1943年發生的北角海戰(Battle of North Cape)中,皇家海軍約克公爵號(HMS Duke of York (17))擊沉了沙恩霍斯特號,之後大多數德國水面艦退至港口作為存在艦隊,牽制皇家海軍的部署。而提爾皮茨號戰鬥艦不斷地穿梭於挪威的峽灣中,盟軍認為其對援蘇商船運輸造成非常大的威脅,持續以各種行動試圖癱瘓或擊沉它,最後在1944年的問答集行動(Operation Catechism)中成功擊沉,從此德國水面艦隊也無對盟軍實際的影響力了。
德國海軍在國家海軍時期第一艘新建造中型軍艦就是輕巡洋艦埃姆登(German cruiser Emden),其他還有2種級別—柯尼斯堡級(German K class cruiser)和萊比錫級。埃姆登的設計與一次大戰的形式極為接近,配有8門150毫米炮(其中有4門位於艦身中線),主要用於訓練和布雷等次要任務。柯尼斯堡級則為埃姆登更進一步的設計,火力加大到200毫米,並大幅提升了續航力;該級的3艘同型艦有2艘即在戰爭前期就沉沒。而最後的萊比錫級則是柯尼斯堡級的改良版,武裝和防護能力相同,但續航力和引擎出力進行了改良。1939年還有要建造6艘新型的M級輕巡洋艦(M計畫),但被取消。驅逐艦方面,因為條約的建造限制,德國以加大噸位強化其戰力的做法比其他盟軍都來得早,儘管二戰中德國的驅逐艦現代化程度遠高過其他國家,但本身仍具有一些問題,如:在惡劣或潮濕的天氣氣候中,高壓蒸汽渦輪引擎不穩定且續航力極短等。雖然在後期改善不少,但隨著入侵挪威的重創以及希特勒決定將德國海軍的建軍核心移往U艇部隊後水面艦的地位就沒有多大影響。在二戰爆發後,大多數驅逐艦部隊投入英國海岸附近的通商航道布雷任務和為德國船團護航,其後也未建造新艦。德國驅逐艦由建造年作為級別名稱,如1934年級(Zerst?rer 1934),到了1941年級(Zerst?rer 1936)後船名全部以Z開頭,後面加上數字編號命名。此外在Z計畫中曾預計建造一種大型的驅逐艦(Z/45),為搜尋巡洋艦(Sp?hkreuzer),以攻擊商船和偵查為主要任務,但沒有一艘建造完成。
由於船舶建設工程局的研究,德國潛艇並未落後國際,同時也在該機關中設計了二戰爆發後的主力潛艇。主要使用的有II級、VII級和IX級潛艇,另外還有數量不多的I級、X級(布雷用)、XIV級(補給用)、XXI級和XXIII級。II型潛艇是由一戰的UB型潛艇改良而來,原設計目的為訓練艦,但在大戰爆發潛艇數量不夠時也被賦予作戰任務。VII級潛艇為整場戰爭中德國潛艇部隊的主力,尤其是VII級C型自1941年後的生產一直沒停過。IX級潛艇為I級潛艇改良而來,適合遠洋長期作戰,作戰範圍可到太平洋,每艘IX級B型擊沉噸位數都達到了10萬噸。另外在戰爭後期,德國開發了絕氣推進的XVII級潛艇(German Type XVII submarine),還有通氣呼吸管和新型引擎的XXI級和XXIII級,以往潛艇水下航速都不過10節,但XXI級和XVII級則分別為17節和25節,且可以以12節到14節航速潛航10小時,能有效對抗盟軍的海上巡邏機。戰後它們成為現代潛艇設計的原型,特別是蘇聯的W級潛艇。德國在整場戰爭中投入了1162艘各種類型的潛艇、以各種形式沉沒者共有785艘,還有156艘向盟軍投降。水面艦艇共擊沉246艘潛艇、岸基飛機擊沉245艘、艦載機擊沉43艘、飛機和船艦合作擊沉50艘、盟軍潛艇也擊沉了21艘。共有32,000名潛艇人員陣亡。德國在戰爭期間還有開發出數種袖珍潛艇,其中有像黑人型袖珍潛艇(Neger)者,製造了200多艘於戰爭中使用。戰爭里德國潛艇除了執行攻擊商船的任務外,也會擔任運輸和與日本交換物資的船隻工作。另外還有曾研究能夠發射V-2火箭的火箭潛艇(Rocket U-boat)計畫,但沒有完成。