前端斷點續傳功能實現?最近接到一個産品需求是給指定的 sftp 服務器的指定目錄定時推送文件數據，我來為大家科普一下關于前端斷點續傳功能實現?以下内容希望對你有幫助!

前端斷點續傳功能實現

最近接到一個産品需求是給指定的 sftp 服務器的指定目錄定時推送文件數據。

因為項目組已有現成的組件可以輕松實現 sftp 服務器文件的快速上傳，本來是一件很容易的事情，但是問題出現在這個指定的 sftp 服務器所指定的密碼帶有系統關鍵字和一些特殊字符，導緻現在的組件在解析過程中會失敗。

因此重新開發了下面的這套腳本來滿足這個特殊的需求。

Python代碼

#test_upload.py import os, sys import yaml from optparse import OptionParser import paramiko import traceback opt_parser = OptionParser() opt_parser.add_option('--node', action='store', type='string', dest='node', help='sftp config') opt_parser.add_option('--local_file', action='store', type='string', dest='local_file', help='file to be transferred') def load_config_from_param_conf(key): """ :param key: 指定業務所使用的sftp服務的名稱，例如sftp.yaml文件中的key: test_file_upload :return: 從指定路徑拿到yaml文件并讀取指定key，返回例如sftp.yaml文件中key為test_file_upload下的配置選項值 包含: host,port,user,password,destination """ config_file = f'{os.environ["TASK_MAIN"]}/test_conf/sftp.yaml' #獲取指定路徑下的yaml文件 with open(config_file, 'r') as r: #打開yaml文件内容 config = yaml.load(r) #轉換yaml數據為字典 return config['sftp']['upload'][key] def upload(sftp_conf, local_file_path): """ :param sftp_conf: 獲取指定sftp_conf=test_file_upload下返回的字典值，這裡的參數sftp_conf與load_config_from_param_conf函數裡的參數值一緻 :param local_file_path: 指定本地要上傳到sftp服務器的文件的絕對路徑 :return: """ sf = paramiko.Transport((sftp_conf['host'], sftp_conf['port'])) sf.connect(username=sftp_conf['user'], password=sftp_conf['password']) sftp = paramiko.SFTPClient.from_transport(sf) to_path = sftp_conf['destination'] sftp.put(local_file_path, to_path os.sep os.path.split(local_file_path)[-1], confirm=False) sftp.close() if __name__ == '__main__': option = opt_parser.parse_args(sys.argv[1:])[0] sftp_conf = load_config_from_param_conf(option.node) try: upload(sftp_conf, option.local_file) except Exception as e: print(traceback.format_exc()) raise Exception('upload {} file error.'.format(option.local_file))

sftp配置文件代碼

#sftp.yaml sftp: upload: test_file_upload: host: 10.12.34.6 port: 808 user: user_test password: 8Z.Lx/2@UH destination: /data/dump

(1). yaml 模塊

import yaml

導入 yaml 模塊前可以使用以下命令進行模塊的安裝

python3 -m pip install PyYaml

yaml 模塊在這裡的作用是讀取 sftp 配置文件代碼，将指定key: test_file_upload 下的 key:value 的值轉換為字典。

例如：load_config_from_param_conf 函數中的返回值就是使用 yaml 讀取到 sftp 配置文件代碼後，返回 key: test_file_upload 下配置選項值。

格式如下：

{ "host": "10.12.34.6", "port": "808", "user": "user_test", "password": "8Z.Lx/2@UH", "destination": "/data/dump" }

最後将返回值傳給 upload 函數作為參數。

(2). OptionParser 模塊

from optparse import OptionParser

按照 yaml 模塊的安裝方法，先安裝 optparse 模塊後，然後在文件中從optparse 中導入 OptionParser 模塊

opt_parser = OptionParser() opt_parser.add_option('--node', action='store', type='string', dest='node', help='sftp config') opt_parser.add_option('--local_file', action='store', type='string', dest='local_file', help='file to be uploaded')

在這裡我使用了 OptionParser 這個類實例化了一個對象：opt_parser，通過對象來調用 add_option 方法添加了2個參數，分别是：node, local_file

1). 形參：--node，實參：node

所代表的業務含義是：指定要上傳的 sftp 的節點，具體參數值對應 sftp配置文件代碼中的 test_file_upload

2). 形參：--local_file，實參：local_file

所代表的業務含義是：指定本地需要被上傳到 sftp 服務器的具體文件路徑

3). 調用命令

python3 test_upload.py --node test_file_upload --local_file /home/test/sftp_load/test_001.csv

4). add_option()方法

add_option()參數說明： action: 存儲方式，分别為:store,store_false,store_true type: 類型 dest: 存儲的變量 default: 默認值 help: 幫助信息

參數：action的枚舉

store: 參數列表中帶有--node, 那麼就會将下一個元素即：test_file_upload 作為其 dest 實參 node 的值; 如果沒有--node,那麼對應的node的值就為 None;

store_true: 參數列表中有--local_file, 那麼其 dest 實參 local_file 的值就為 True; 否者就為 default 定義的默認值，這裡沒有給定 default 的默認值;

store_false: 參數列表中有--local_file, 那麼其 dest 實參 local_file 的值就為 False; 否者就為 default 定義的默認值，這裡沒有給定 default 的默認值;

參數：type

type是指定傳入參數的類型，這裡的參數類型為 string 類型。

參數：dest

dest是參數傳入後由哪個變量來存儲的，後面代碼對該參數的引用也是使用這裡定義的變量名來引用的。

參數：default

default 是與 action 的值結合使用的。

• 當action=store_true時，default=123時，如果有傳入形參--local_file，則實參local_file的值為：True
• 當action=store_true時，default=123時，如果沒有傳入形參--local_file，則實參local_file的值為：123
• 當action=store_false時，default=123時，如果有傳入形參--local_file，則實參local_file的值為：False
• 當action=store_false時，default=123時，如果沒有傳入形參--local_file，則實參local_file的值為：123

參數：help

help相當于幫助說明文檔，用于描述這個參數的含義。