无法使用 curl 登录到 GameAnalytics 站点

Question

我在我的应用程序中使用游戏分析 (GameAnalytics.com)。对于那些不熟悉 GA 的人来说，这是一个免费的移动应用程序分析服务，就像 flurry。我需要一些 GameAnalytics 不会做的分析，这就是为什么我下载原始 json 事件数据，解析并将其存储在本地数据库中以供进一步处理。一开始我觉得每次手动下载数据是可以的，但后来我意识到我很烦人，最好自动化这个动作。

我对 webdev、php 和 js 没有很深的了解，尽管我使用 php 多年主要用于实用程序和软件后端。

所以我使用了嗅探器并能够在 php 上使用 cookie 重现 GET 请求：

$rollingCurl = new RollingCurl();
$rollingCurl->get("https://query-2.gameanalytics.com/v1/games/$game_id/export?start=$from&end=$to&_=0521345345333644",
  array(
      "Host: query-2.gameanalytics.com",
      "Connection: keep-alive",
      "Accept: application/json, text/plain, */*",
      "Origin: https://go.gameanalytics.com",
      "User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 YaBrowser/14.12.2125.10034 Safari/537.36",
      "Authorization: priv-eyJhbGciOiAiSFMyNTYiLCAidHlwIjogIkpXVCJ9.eyJ0bblahblah....",
      "Referer: https://go.gameanalytics.com/game/$game_id/settings/export-data",
      "Accept-Encoding: gzip,deflate",
      "Accept-Language: en;q=0.8"
  )
);

但是这个请求使用了即将过期的cookies。所以唯一的方法就是复制现有session的cookies，然后粘贴到php代码中，这样很不方便。

我知道我必须打开curl会话，登录到gameanalytics.com，然后使用这个会话下载我需要的数据。类似的方法已成功用于：

但由于某些原因我无法登录。它看起来像一些保护。主登录表单生成目标 url，其中包含一些我在页面源代码中找不到的数字。

go.gameanalytics.com/api/v1/public/login/basic?_=0600650333334639

也许有一些已知的方案或解决方法？或者它以某种方式与首次加载时生成的 cookie 页面相关联？

当我用这个号码通过curl登录时，失败：

$ch = curl_init('go.gameanalytics.com/api/v1/public/login/basic?_=0600650333334639');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 YaBrowser/14.12.2125.10034 Safari/537.36");
curl_setopt($ch, CURLOPT_COOKIEFILE, null);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, '{"email":"$EMAIL","password":"$PASSWORD","remember":false}');
$data = curl_exec($ch);
//returns: {"errors": [{"msg": null, "type": null, "id": "405"}], "results": []}

以防万一，这是来自浏览器的成功登录查询的日志（当然所有敏感数据都已更改）：

POST https://go.gameanalytics.com/api/v1/public/login/basic?_=0665297234573059 

***Headers***
HTTP/1.1
Host: go.gameanalytics.com
Connection: keep-alive
Content-Length: 74
Accept: application/json, text/plain, */ *
Origin: https://go.gameanalytics.com
User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 YaBrowser/14.12.2125.10034 Safari/537.36
Content-Type: application/json;charset=UTF-8
Referer: https://go.gameanalytics.com/login
Accept-Encoding: gzip,deflate
Accept-Language: ru,en;q=0.8
Cookie: __utmt=1; AWSELB=F7D56DAB06335D820C6DA102697F76E63C69B5593D8E1CA61696696A520EC8B406E1ACF7E4CBD4284F123BC02162F0E8265430E673426B0EE263D10D29A3D5A; ga_user_id=ga_user_048304342233359914; ga_session_id=ga_session_0967241199979347; gaUserTokenOld={"token":"9.eyJsaW5rZWQiOiBudWxsLCAiaWQiOiAxNTU2OCwgImV4cCI6IDE0MjQzNDI2NTAsICJyZW1lbWJlciI6IGZhbHNlfQ.8ZYJ9yq2xETeAmY6rfiYAtxJybxDbGyaAE","exp":1424342650000}; __utma=153348830.970035277.1424344521.1424345621.1424355621.1; __utmb=153878340.5.10.1424451621; __utmc=156578830; __utmz=153854830.1424354621.1.1.utmcsr=yandex.ru|utmccn=(referral)|utmcmd=referral|utmcct=/; visitor_id20732=101885788

***Body***
{"email":"HERE_IS_MY_EMAIL","password":"HERE_IS_MY_PASSWORD","remember":false}

And response: 

***Headers***
HTTP/1.1 200 OK
Cache-Control: no-store, no-cache, private, must-revalidate, proxy-revalidate
Content-Type: application/json
Date: Thu, 19 Feb 2015 10:31:22 GMT
Server: nginx/1.6.2
Content-Length: 284
Connection: keep-alive

***Body***
{"errors": [], "results": [{"linked": null, "token": "9.eyJsaW5rZWQiOiBudWxsLCAiaWQiOiAxNTU2OCwgImV4cCI6IDE0MjQzNDI2NTAsICJyZW1lbWJlciI6IGZhbHNlfQ.8ZYJ9yq2xETeAmY6rfiYAtxJybxDbGyaAE", "id": 99568, "exp": 1424342781, "remember": false}]}

Answer 1

我在@GameAnalytics 和 designed/coded 这个系统工作，所以我可以帮助你。

请知悉：

我们不正式支持手动使用 web-tool api
因此，如果我们更改内容，您的代码可能会随时中断

使用这种方法实现自动化时负责任地这样做。

不要反复下载相同的文件
将来不再需要数据时停止脚本
保持脚本的频率运行最低（比如每天一次）

从根本上优化您的脚本，以免对我们的系统造成压力。我们监控使用情况并保留阻止使用不良实施的帐户的权利。

您还应该删除上面 post 中的令牌。 :)

解决方案

好的.. 现在免责声明已经结束，我们可以开始有趣的事情了！你基本上是在正确的道路上。

获得令牌

像上面那样向 public 登录路由发出请求。

https://go.gameanalytics.com/api/v1/public/login/basic

然后您在 JSON 数据中检索一个令牌。此令牌将在 15 分钟左右过期（查看 exp 时间戳值），也是 AngularJS 稍后（在进行适当的工具登录时）放置在 cookie 中的值。

使用令牌

从数据中获取令牌并使用它访问所有其他 web-tool 路由，方法是将其放置在请求的 "X-Authorization" header 中。为了测试不同的路线，我建议安装有用的 "postman" Chrome 扩展。

获取游戏列表

使用令牌获取您帐户的数据。

https://go.gameanalytics.com/api/v1/user/data

这将 return JSON 工作室、游戏等数据。找到数据中的 "studiosGames" 字段并找到您需要的游戏。在游戏字典中，您需要找到存储在 "dataApiToken".

的令牌

下载量

"dataApiToken"也是一个令牌，它会过期。使用它联系我们的指标 API 以获取特定游戏的数据。此 API 使用 "Authorization" header 放置令牌。

称之为 url:

https://query-0.gameanalytics.com/v1/games/[game_id]/export?start=[start_timestamp]&end=[end_timestamp]

我建议使用 Chrome（网络选项卡）检查该工具，以查看您的游戏使用了哪些路由/参数。

从请求中你应该得到 JSON 数据和 urls 来下载。使用它们来获取文件。这些 url 将在几个小时后过期。

如果有帮助请告诉我们！

请记住不要在网站上分享您的 keys/token（例如这样的网站），因为它们会通过我们的 API 授予其他人访问权限。并且..如前所述-负责任地行事！

无法使用 curl 登录到 GameAnalytics 站点

Can't login with curl to GameAnalytics site

php

session

curl

cookies

gameanalytics

解决方案