Paramiko ssh die/hang 大输出
Paramiko ssh die/hang with big output
我尝试使用 Paramiko 和 ssh 来备份服务器以调用 tar
命令。当文件数量有限时,一切正常,但当它是一个大文件夹时,脚本会无休止地等待。下面的测试告诉我问题出在标准输出的大小上。
有没有办法更正并执行这种命令?
案例大输出:
query = 'cd /;ls -lshAR -h'
chan.exec_command(query)
while not chan.recv_exit_status():
if chan.recv_ready():
data = chan.recv(1024)
while data:
print data
data = chan.recv(1024)
if chan.recv_stderr_ready():
error_buff = chan.recv_stderr(1024)
while error_buff:
print error_buff
error_buff = chan.recv_stderr(1024)
exist_status = chan.recv_exit_status()
if 0 == exist_status:
break
结果是(不正常 - 阻止 - 死亡 ??)
2015-07-25 12:57:07,402 --> Query sent
案例小输出:
query = 'cd /;ls -lshA -h'
chan.exec_command(query)
while not chan.recv_exit_status():
if chan.recv_ready():
data = chan.recv(1024)
while data:
print data
data = chan.recv(1024)
if chan.recv_stderr_ready():
error_buff = chan.recv_stderr(1024)
while error_buff:
print error_buff
error_buff = chan.recv_stderr(1024)
exist_status = chan.recv_exit_status()
if 0 == exist_status:
break
结果是(一切正常)
2015-07-25 12:55:08,205 --> Query sent
total 172K
4.0K drwxr-x--- 2 root psaadm 4.0K Dec 27 2013 archives
0 -rw-r--r-- 1 root root 0 Jul 9 23:49 .autofsck
0 -rw-r--r-- 1 root root 0 Dec 27 2013 .autorelabel
4.0K dr-xr-xr-x 2 root root 4.0K Dec 23 2014 bin
2015-07-25 12:55:08,307 --> Query executed (0.10)
如果 ls -R
打印出大量错误输出(如果当前用户不是 root
=> 没有访问所有文件夹的可能),您的代码 deadlocks终于。
这是因为,错误流的输出缓冲区最终会填满,所以ls
停止工作,等待您读取流(清空缓冲区)。
当您等待常规输出流完成时,它永远不会做的事情,就像 ls
等待您读取错误流一样,您永远不会做的事情。
您必须并行读取两个流(参见 )。
或者更简单,使用 Channel.set_combine_stderr
将两个流合并为一个。
检查退出状态前读取数据
我尝试使用 Paramiko 和 ssh 来备份服务器以调用 tar
命令。当文件数量有限时,一切正常,但当它是一个大文件夹时,脚本会无休止地等待。下面的测试告诉我问题出在标准输出的大小上。
有没有办法更正并执行这种命令?
案例大输出:
query = 'cd /;ls -lshAR -h'
chan.exec_command(query)
while not chan.recv_exit_status():
if chan.recv_ready():
data = chan.recv(1024)
while data:
print data
data = chan.recv(1024)
if chan.recv_stderr_ready():
error_buff = chan.recv_stderr(1024)
while error_buff:
print error_buff
error_buff = chan.recv_stderr(1024)
exist_status = chan.recv_exit_status()
if 0 == exist_status:
break
结果是(不正常 - 阻止 - 死亡 ??)
2015-07-25 12:57:07,402 --> Query sent
案例小输出:
query = 'cd /;ls -lshA -h'
chan.exec_command(query)
while not chan.recv_exit_status():
if chan.recv_ready():
data = chan.recv(1024)
while data:
print data
data = chan.recv(1024)
if chan.recv_stderr_ready():
error_buff = chan.recv_stderr(1024)
while error_buff:
print error_buff
error_buff = chan.recv_stderr(1024)
exist_status = chan.recv_exit_status()
if 0 == exist_status:
break
结果是(一切正常)
2015-07-25 12:55:08,205 --> Query sent
total 172K
4.0K drwxr-x--- 2 root psaadm 4.0K Dec 27 2013 archives
0 -rw-r--r-- 1 root root 0 Jul 9 23:49 .autofsck
0 -rw-r--r-- 1 root root 0 Dec 27 2013 .autorelabel
4.0K dr-xr-xr-x 2 root root 4.0K Dec 23 2014 bin
2015-07-25 12:55:08,307 --> Query executed (0.10)
如果 ls -R
打印出大量错误输出(如果当前用户不是 root
=> 没有访问所有文件夹的可能),您的代码 deadlocks终于。
这是因为,错误流的输出缓冲区最终会填满,所以ls
停止工作,等待您读取流(清空缓冲区)。
当您等待常规输出流完成时,它永远不会做的事情,就像 ls
等待您读取错误流一样,您永远不会做的事情。
您必须并行读取两个流(参见
或者更简单,使用 Channel.set_combine_stderr
将两个流合并为一个。
检查退出状态前读取数据