許多套用得益於傳輸檔案的一部分，而非全部檔案，而標準FTP協定只能傳輸整個檔案，或從檔案的一個精確的偏移量開始傳輸。GridFTP(網路檔案傳輸協定)支持從檔案的任意位置開始傳輸數據，可有效地支持部分檔案傳輸。
基本介紹
- 中文名：部分檔案傳輸
- 外文名：Partial File Transfer
- 所屬領域：計算機技術
- 所屬問題：數據傳輸
- 相關概念：GridFTP、Globus等
基本介紹,特性,實現及性能,數據傳輸,
基本介紹
格線存儲海量的數據，其中一些檔案非常大。而對許多應用程式來說，它所需要訪問的通常只是某個遠程檔案的一部分。如果為了獲取檔案的一部分，而直接傳輸整個檔案，將造成頻寬的浪費，因此，有必要提供部分檔案傳輸方式。在部分檔案傳輸中，所傳輸的數據是整個數據集的一部分。
某些套用可能只需訪問某個遠程檔案的一部分，這需要一定的數據傳輸支持，GridFTP支持從檔案的任意位置開始傳輸數據，可有效地支持部分檔案傳輸。部分數據傳輸是指在只需要某個伺服器檔案中指定的部分數據時的一種傳輸方式。該方式適用於，當某些套用只需要訪問某個遠程檔案的一部分，此時只需要傳輸部分計算數據的情況。
特性
GricFTP（網路檔案傳輸協定）擴展了標準FTP協定，這是因為FTP協定是目前網際網路上使用最普遍的數據傳輸協定，有大量的技術基礎，也是在Intemet 環境中最規範的數據傳輸協定，並且易於擴展。
為了使格線數據傳輸協定具有更好的適應性，GridFTP除了具有普遍使用的數據傳輸協定所提供的基本功能外，還具有如下特徵，其中一些已經成為標準。
(1)第三方控制的數據傳輸。
為了管理分散式通信中的大數據集，GridFTP提供了經過監別的由第三方控制的數據傳輸功體。這種功能允許第三方用戶或應用程式啟動、監視和控制其他兩地之間的數據傳輸，為使用多個地點的資源提供了保障。GridFTP在保留FTP的第三方數據傳輸功能上增加了GSS-API(Generic Security Service-API)安全認證。
(2)支持GSI和Kerberos安全機制。
GridFTP中支持靈括可靠的安全監別和完整性檢查。用戶可以挖制不同層次上的數據完整性及保密性的設定。GridFTP 支持GSI(Grid Security Infrastructure)及Kerberos認證。GSI支持用戶代理、資源代理、認證機構和協定的實現，是Globus的安全基礎構件包，是保證格線計算安全性的核心。
(3)條狀數據傳輸。
在格線環境中，大規模的數據可分布放置在多個存儲點上。條狀數據傳輸是指應用程式使用多個TCP流來傳輸分布在多個伺服器上的數據。GridFTP能啟動條狀傳輸，使總頻寬及數據傳輸速度在並行傳輸的基礎上進一步提高。
(4)並行數據傳輸。
並行數據傳輸就是在一個數據伺服器上，將數據檔案分段後在多個連線上傳輸。廣域網環境中，在相同的源檔案和目的檔案之間進行數據傳輸，使用多個並行的TCP流與使用單一的TCP流相比能有效地提高數據傳輸的總頻寬。GridFTP通過指令及數據信道的擴展支持並行數據傳輸。
(5)部分檔案傳輸。
許多套用得益於傳輸檔案的一部分而非全部檔案，而標準FTP協定只能傳輸整個檔案，或從檔案的一個精確的偏移量開始傳輸。GridFTP 支持從檔案的任意位置開始傳輸數據，可有效地支持部分檔案傳輸。
(6)自動調整TCP buffer/winlow 大小。
手工方式設定TCP buffer/window 大小容易出錯，且對用戶要求較高。因此GridFTP對標準的FTP指令集及數據通道協定進行了擴展，支持手動或自動設定大檔案以及小檔案集合的TCP緩衝大小。由於使用最佳化的TCPbuffer/window大小設定，從而有效地提高了數據傳輸性能。
(7)支持可靠傳輸和數據重傳。
對於許多處理數據的應用程式來說，保證數據傳輸的可靠性很重要。處理短暫的數據傳輸故障和伺服器故障等是不可缺少的容錯手段。GridFTP 支持可靠的數據傳輸及數據重傳，並把它擴展到新的數據通道協定中。
實現及性能
為了實現GridFTP協定，Globus項目主要實現了GridFTP 函式館(globus_fip_control_library 及globus_ftp_client_library)、GridFTP客戶端、GridFTP伺服器端及一系列的相關工具。GridFTP伺服器端主要是通過對自由軟體wuftpd進行改寫及擴展來實現的。GridFTP客戶端則通過對ncftp改寫及擴展實現。
函式館globus_ftp_control_library實現了控制通道API，主要提供了管理GridFTP連線(包括相互鑑別、創建控制及數據通道)，在數據通道上讀寫數據的功能，並且支持並行數據傳輸、條狀數據傳輸及第三方數據傳輸等。
函式館globus_ftp_client_library 主要實現GridFTP客戶端API，提供高層客戶端數據傳輸功能，包括完整檔案get操作及put操作、對並行數據傳輸進行控制及設定、部分檔案傳輸操作和設定TCP緩衝大小等。
美國的兩個國家實驗室通過兩個工作站間的數據傳輸測試了GridFTP的性能。實驗將GridFTP 和Iperf(Iperf是測量網路性能的工具，通過它可以得到網路的最大吞吐量)比較，當並行的TCP流增加時Iperf與GridFTP的數據傳輸性能比較，經過計算，GridFTP的性能可達到Iperf性能的78%。
在可靠性方面，在傳輸過程中出現不同的網路問題(網路設備掉電、DNS出錯)時，會致使傳輸性能陡降，但當網路恢復時，數據傳輸又繼續開始。這主要是因為GridFTP協定支持數據傳輸自動重傳，這樣一旦網路恢復正常，中斷的數據傳輸可繼續進行。
數據傳輸
科學數據格線數據傳輸工具應該是基於標準協定和方便可用的，同時也應具有高效、安全、可靠的傳輸功能。可以通過以下策略來實現上述目標：
●第三方數據傳輸：是指在進行數據傳輸的源站點和目的站點對之外的第三方站點上的用戶或者套用發起、監視和控制整個數據傳輸操作的過程。數據格線系統引入第三方傳輸技術可以方便地實現數據的傳輸，可以有效地將指令流和數據流分開，可以實現自主的數據預取技術。
●支持並行數據傳輸：在廣域的連線上，相對單一的TCP連線而言，並行數據傳輸能夠極大提高網路傳輸性能。通過並行傳輸的方法來緩解網路速度和頻寬方面的壓力，在傳輸源站點和目的站點之間同時並行地使用多個TCP流，能在相同的網路環境下獲得高得多的性能。
