带有 RCurl 的 sftp 协议 - 最后一步,如何将 R 路径从 usr/lib 更改为 usr/local/lib

sftp protocol with RCurl - last step, how to change R path to libcurl from usr/lib to usr/local/lib

首先 - 我知道这不是一个特定的代码问题,所以请随时投票结束这个问题,但我今天花了半天的大部分时间来解决这个问题并且可以使用一些帮助。我还认为这个线程可以帮助任何试图让 sftp 协议在 R 中工作的人,因为我将分享我今天所做的事情。

我一直在尝试更新 RCurl 以使其支持 sftp 协议。在 R 中,我的协议看起来是这样的(还有版本和主机):

> library(RCurl)
> curlVersion()$protocols
 [1] "dict"   "file"   "ftp"    "ftps"   "gopher" "http"   "https"  "imap"   "imaps"  "ldap"   "ldaps"  "pop3"   "pop3s"  "rtsp"   "smb"    "smbs"  
[17] "smtp"   "smtps"  "telnet" "tftp" 

> curlVersion()$version
[1] "7.43.0"

> curlVersion()$host
[1] "x86_64-apple-darwin15.0"

不太好 - 没有 sftp 选项...

我按照这个线程 - http://andrewberls.com/blog/post/adding-sftp-support-to-curl - 更新了我机器上的 curl,并且部分成功了。成功部分体现在当我在命令行中 运行 以下内容时:

curl -V 
curl 7.55.1 (x86_64-apple-darwin15.6.0) libcurl/7.55.1 zlib/1.2.5 
libssh2/1.8.0
Release-Date: 2017-08-14
Protocols: dict file ftp gopher http imap ldap ldaps pop3 rtsp scp sftp smtp telnet tftp 
Features: AsynchDNS IPv6 Largefile libz UnixSockets 

太棒了,因为我已经更新了 curl。但是,当我在 R 中加载 RCurl 和 运行 curlVersion() 时,它不会更新。我检查了 /usr/ 目录的 lib 文件夹,发现以下问题。在我的 /usr/lib 和 /usr/local/lib 中,都存在 libcurl 文件。具体来说:

我的 /usr/local/lib 目录中的文件是我想使用的新文件,但这是我最头疼的地方。我将 /usr/local/lib 中的四个文件复制到 /usr/lib 中,结果我的电脑坏了。我的许多应用程序停止加载,我不得不重新安装我的 OS X,因为我害怕搞砸其他任何事情。当我重新安装我的 OS X 时,它将我的文件放回各自的文件夹中(它们在上面的项目符号中的样子)。

如果我不得不猜测,我可能不应该移动 .a 或 .la 文件...我不确定。

最后一件事 - 当我在控制台中 运行 $ $PATH 时,我得到:

$PATH
-bash: /Users/Home/.rvm/gems/ruby-2.3.3/bin:/Users/Home/.rvm/gems/ruby-2.3.3@global/bin:/Users/Home/.rvm/rubies/ruby-2.3.3/bin:/Users/Home/anaconda2/bin:/usr/local/git/bin:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/opt/X11/bin:/Library/TeX/texbin:/Users/Home/.rvm/bin: No such file or directory

/usr/local/bin 在 /usr/bin 之前。但是我没有看到 /usr/local/lib 或 /usr/lib 的任何内容 - 我可以将这些 (/usr/local/lib) 添加到我的路径中来解决这个问题吗? R 中的 .libPaths() 给了我这个:

.libPaths()
"/Library/Frameworks/R.framework/Versions/3.4/Resources/library"

...如果有帮助的话

编辑——我应该注意到,所有问题的根源当然是因为 'sftp' 没有在 R 的 curlVersion()$protocols 中列出,所以当我 运行 RCurl::getURL(),或 RCurl::ftpUpload()(我希望使用 ftpUpload),两者都收到错误:

> RCurl::ftpUpload(what = 'myfile.txt', to = 'sftp://userid:userpw@ip/'myfile.txt')
Error in function (type, msg, asError = TRUE)  : 
  Protocol "sftp" not supported or disabled in libcurl

谢谢!

从源代码安装 RCurl 对我有用!

install.packages("RCurl", type="source")

我在这里找到了解决方案 - http://www.omegahat.net/RCurl/FAQ.html - 具体来说,就是以下几行。

“我不能在 RCurl 中使用 scp 或 sftp,但 curl 的文档似乎表明它可以。那么为什么 RCurl 不支持它?

RCurl 确实支持它,但可能的问题是您安装的 libcurl 版本不支持它。您可以通过命令 curlVersion 检查您的 libcurl 和 RCurl 支持的协议。如果没有 scp 和 sftp,请重新安装 libcurl,但要支持使用 libssh2。在安装 libcurl 之前,您需要安装 libssh2 开发库和头文件。在某些操作系统上,您需要从源代码重建 RCurl。"

总的来说,这是对我的问题从头到尾的一个很好的总结。如果您的 RCurl 版本不支持 sftp,您需要先安装(在命令行中)libssh2,然后重新安装 libcurl,然后出于某种原因从源代码重建。

呸!终于在带有 rstudio-server 的 Ubuntu 14.04 docker 容器中工作了。我解决了每一个问题!但是我不得不花更多的时间来计算找到所有这些东西,所以我试着把所有的东西都放在一个地方,以供遇到这个问题的其他人使用这就是我所做的...

在linux终端中:

apt-get install libcurl4-openssl-dev

wget libssh2 and then compile with ordinary

./configure

make

make install

wget curl and then compile

./configure --with-sshlib2=/usr/local

make

make install

如果您需要 curl 以使用 sftp 在终端中工作,此时可能还不行。使用刚刚安装的新 libcurl.so.4 验证它。您刚刚安装的 curl 将安装到 /usr/local/bin,因此请使用 ldd 来验证它是否使用旧库。我使用的是旧的 libcurl,所以我在 /usr/local/lib 中将旧的 libcurl 链接到新的 libcurl,然后重新编译了 curl。

如果您想让 RCurl 工作,请将所有新库从 /usr/local/lib(libcurl 和 libssh2)复制到 /lib,然后移至 R 控制台。

在 Rconsole 中:

install.packages("RCurl", type = "source")

验证 sftp 协议是否启用

libcurlVersion() RCurl::curlVersion()

这些应该分别显示为 libcurl 和 RCurl 启用的协议。为 sftp 祈祷吧!

为了以防万一,我也做了这些可能没有做太多但我在撞墙时做了的事情,只是保持原位。

升级了 R 和 R studio-server

在重新安装 RCurl 之前删除了 curl 和 RCurl 的 R 版本。同样在较新的 rstudio 中,我不确定是否需要 type="source"。

另外正如 Canovice 所指出的,在 libcurl 和 libssh 库中移动时要小心。我断网了几次,幸运的是因为它是一个 docker 容器,我刚刚重新启动。我发现一次移动所有东西效果最好,

cp /usr/local/lib/libssh* /lib && cp /usr/local/lib/libcurl* /lib

还应该注意,我是一个完全的 R 新手,所以可能有比到处移动库更干净的方法来做到这一点。我尝试在 rstudio 中使用 .libaths(),但最终放弃了。

在实践中,我发现尝试更新现有的 curlopenssl 安装比安装全新版本并更新 PATH 环境更危险被使用

在我的例子中,我的较新的 curlopenssl 安装在

中并支持 sftp
/usr/local/opt/curl-openssl/bin
/usr/local/opt/openssl/lib/

因此我需要设置以下环境

PATH="/usr/local/opt/curl-openssl/bin:${PATH}"
LIBRARY_PATH="/usr/local/opt/openssl/lib/:${LIBRARY_PATH}"

执行前

install.packages("RCurl", type="source")