抓取需要 md5 哈希作为参数的网页

Question

我正在尝试在 c# 控制台应用程序中从下面 link 抓取数据： https://www.eex-transparency.com/homepage/power/germany/production/availability/non-usability

使用 chrome 中的开发人员工具，我可以看到它可能会得到 json 响应，url 得到的是： https://www.eex-transparency.com/dsp/tem-12?country=de&expires=1454345128&md5=TRhtJei_go4ueLeekBc8yw

该网站使用此 js 文件 (https://www.eex-transparency.com/assets/js/tpe-website.js) 生成过期和 md5 哈希键。我想我已经发现过期值是一个 unix 日期时间。我以前从未使用过javascript，所以很难弄清楚他们是如何构造md5的。

生成这些代码的Javascript是：

generateCryptedParams=function(url,clientIP)
{
    var cryptedParams,md5,md5Encoded,md5WithoutSpeciaChars,parser,timePoint,urlPath;

return timePoint=moment().tz("Europe/Berlin").add(1,"minute").unix(),
                 parser=document.createElement("a"),
                 parser.href=url,
                 urlPath=parser.pathname,
                 "/"!==urlPath[0]&&(urlPath="/"+urlPath),
                 md5=CryptoJS.MD5(urlPath+timePoint+clientIP+" zYeHzBomGdgV"),
                 md5Encoded=md5.toString(CryptoJS.enc.Base64),
                 md5WithoutSpeciaChars=replaceSpecialChars(md5Encoded),
                 cryptedParams={"expires":timePoint,"md5":md5WithoutSpeciaChars}
}

replaceSpecialChars=function(str)
{
var key,specialChars,value;
specialChars={"=":"","\+":"-","/":"_","%":"_"};
for(key in specialChars)
    value=specialChars[key],
     str=str.replace(new RegExp(key,"g"),value);

return str
}

正如我所说，我认为我对时间点部分感到满意，但 md5 让我感到困惑。下面是我的 C# 代码来复制他们的但是当我通过 md5 散列他们的网站时 returns 403 禁止错误。

    public Tuple<string, Int32> GenerateCrypto(string url, string ipAddress)
    {
        string cetId = "Central European Standard Time";
        TimeZoneInfo cetZone = TimeZoneInfo.FindSystemTimeZoneById(cetId);
        var CETDateTime = TimeZoneInfo.ConvertTimeFromUtc(DateTime.UtcNow, cetZone);
        //Int32 unixTimestamp = (Int32)(CETDateTime.Subtract(new DateTime(1970, 1, 1))).TotalSeconds;
        Int32 unixTimestamp = (Int32)(DateTime.UtcNow.AddMinutes(1).Subtract(new DateTime(1970, 1, 1))).TotalSeconds;


        url = url.Split('/')[3];
        var md5 = CipherUtility.GenerateMd5(url + unixTimestamp + ipAddress + " zYeHzBomGdgV");
        var md5Encoded = Convert.ToBase64String(Encoding.UTF8.GetBytes(md5));
        var md5withoutSpecialCharts = replaceSpecialChars(md5Encoded);
        md5withoutSpecialCharts = md5withoutSpecialCharts.Substring(0, 22);
        return new Tuple<string, Int32>(md5withoutSpecialCharts, unixTimestamp);
    }

Answer 1

解决方案是我需要在散列之前将一个 const 字符串连接到所有元素。

抓取需要 md5 哈希作为参数的网页

Scrape webpage that requires md5 hash as a parameter

javascript

c#

md5