OCaml 中的逻辑回归

Question

我试图在 OCaml 中使用逻辑回归。我需要将它用作我正在解决的另一个问题的黑匣子。我找到了以下网站：

http://math.umons.ac.be/anum/en/software/OCaml/Logistic_Regression/

我将以下代码（稍作修改 - 我定义了自己的 iris_features 和 iris_label）从该站点粘贴到名为 logistic_regression.ml:

的文件中

open Scanf
open Format
open Bigarray
open Lacaml.D

let log_reg ?(lambda=0.1) x y =
  (* [f_df] returns the value of the function to maximize and store
     its gradient in [g]. *)
  let f_df w g =
    let s = ref 0. in
    ignore(copy ~y:g w); (* g ← w *)
    scal (-. lambda) g;  (* g = -λ w *)
    for i = 0 to Array.length x - 1 do
      let yi = float y.(i) in
      let e = exp(-. yi *. dot w x.(i)) in
      s := !s +. log1p e;
      axpy g ~alpha:(yi *. e /. (1. +. e)) ~x:x.(i);
    done;
    -. !s -. 0.5 *. lambda *. dot w w
  in
  let w = Vec.make0 (Vec.dim x.(0)) in
  ignore(Lbfgs.F.max f_df w);
  w


let iris_features = [1 ; 2 ; 3] ;;
let iris_labels = 2 ;;

let proba w x y = 1. /. (1. +. exp(-. float y *. dot w x))
let () =
  let sol = log_reg iris_features iris_labels in
  printf "w = %a\n" Lacaml.Io.pp_fvec sol;
  let nwrongs = ref 0 in
  for i = 0 to Array.length iris_features - 1 do
    let p = proba sol iris_features.(i) iris_labels.(i) in
    printf "Label = %i prob = %g => %s\n" iris_labels.(i) p
      (if p > 0.5 then "correct" else (incr nwrongs; "wrong"))
  done;
  printf "Number of wrong labels: %i\n" !nwrongs

我有以下问题：

在尝试编译代码时，我收到错误消息：“Error: Unbound module Lacaml”。我已经安装了 Lacaml；多次完成 opam init，试图提供一个标志 -package = Lacaml ；我不知道如何解决这个问题？
如您所见，我定义了自己的 iris_features 和 iris_labels - 类型是否正确，即在函数中 log_reg 是 x int 列表的类型y 作为 int?

Answer 1

iris_features 和 iris_labels 都是数组，OCaml 中的数组文字用 [|、|] 样式的括号分隔，例如，


let iris_features = [|(* I don't know what to put here*)|]
let iris_labels = [|2|]

iris_features 数组的类型为 vec array，即一个向量数组，而不是一个整数数组，我不是挖得太深不知道该放什么，但是语法如下，

let iris_features =[|
  Vec.of_list [1.; 2.; 3.;];
  Vec.of_list [4.; 5.; 6.;];
|]

自代码编写以来，Lacaml 界面发生了一些变化，axpy 不再接受带标签的 ~x 参数（x 和 y 向量现在都是位置向量）因此您需要删除 ~x 并固定顺序（我假设 x.(i) 是 a*x + y 表达式中的 x 并且 g 对应于 y，例如，

 axpy ~alpha:(yi *. e /. (1. +. e)) x.(i) g;

此代码也依赖于lbfgs，所以你也需要安装它，

opam depext --install lbfgs

我建议您使用 dune 作为默认构建系统，但为了快速制作原型，您可以使用 ocamlbuild。将您的代码放入名为 regress.ml 的文件中的空文件夹中（您可以选择其他名称，只需相应地更新构建指令），现在您可以将其构建为本机可执行文件，如

ocamlbuild -pkg lacaml -pkg lbfgs regress.native

运行等于

./regress.native

如果您正在玩 OCaml 顶层（又名解释器，即运行在 ocaml 解释器中编写您的代码），您可以加载 lacaml 和 lbfgs 使用以下两个指令：

#use "topfind";;
#require "lacaml.top";;
#require "lbfgs";;

（# 不是提示符，而是指令语法的一部分，所以不要忘记输入它）。

现在您可以将代码复制粘贴到解释器中并使用它。

Bonus Track - 沙丘建筑

创建一个空文件夹并将 regress.ml 放在那里。
删除 open Bigarray 和 open Scanf 因为沙丘对警告非常严格并将它们变成错误（它会在这些行上警告你，因为它们实际上是未使用的）
创建沙丘项目

dune init exe regress --libs lacaml,lbfgs

构建和运行

dune exec ./regress.exe

OCaml 中的逻辑回归

Logistic Regression in OCaml

ocaml

ocamlbuild

ocamlfind

Bonus Track - 沙丘建筑