SWI-Prolog - 单元测试库 plunit - 如何使用 forall 选项？
SWI-Prolog - Unit testing library plunit - How is forall option used?
对于我的词法分析器（tokenizer) all of the ASCII 7-bit characters (0x00 to 0x7F) have a specific token. As SWI-Prolog supports Unicode，字符代码从 0x0000 到 0xFFFF。
在我的词法分析器中，由于有许多字符不会映射到特定标记，所以有一个未知标记 (tokUnknown)。
为了确保代码在0到127（0x00到0x7F）之间的所有字符都没有tokUnknown，需要测试用例。
测试用例需要一个简单的词法分析器来将字符转换为标记。
tokenizer_unknown(Token) -->
(
white_space_char(W), !, white_space(W, S),
{ Token = tokWhitespace(S) }
;
[S],
{ special_character(S,Token) }
;
digit(D), !, number(D, N),
{ Token = tokNumber(N) }
;
letter(L), !, word(L, W),
{ Token = tokWord(W) }
;
[_],
{ Token = tokUnknown }
), !.
这是代码为 0 的字符的测试用例。
:- begin_tests(unknown).
test(001) :-
Code = 0,
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
:- end_tests(unknown).
以这种方式编写测试需要 128 个不同的测试来检查 tokUnknown。
SWI-Prolog 单元测试库plunit has an option forall 生成数据。
根据文档，测试应如下所示：
test(002, [forall(???)]) :-
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
是否可以使用 forall 选项只编写一个测试用例，而不是为这个测试系列编写 128 个单独的测试用例？
你能给出一个使用 forall 的测试用例的工作版本吗？
跟进
forall 的模板是 forall(:Generator)。
当我第一次看到这个时，我完全感到困惑，差点走开回去编写大量测试，但坚持下去，因为我知道这对于进行参数化测试应该是多么有价值和容易，例如JUnit 5 or NUnit 3. Parameterized test can then be used for fuzzing and fuzzing can be enhanced to generate counter examples, e.g. QuickCheck, FsCheck
示例 1
在硬编码测试中
test(001) :-
Code = 0,
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
我想使 Code 成为每次测试都会更改的变量。我也知道 Code 的限制，即 0 到 127。
因此对于这个简单的生成器，所需要的只是一个谓词，它在调用时生成从 0 到 127 的值，并将它们 return 编辑为变量，例如Code.
between/3 满足要求，例如
?- between(0,3,Code).
Code = 0 ;
Code = 1 ;
Code = 2 ;
Code = 3.
看答案可以看出，把谓词给forall就行了，例如
forall(between(0, 127, Code))
示例 2
此测试用于检查 ASCII 7 位字符 return 的所有单个 whitespace 字符或空白字符序列是否为 tokWhitespace，并且空白字符是令牌的字符串值。
带有空白标记的习惯是不包括标记中的字符，但在这里包括它们是因为如果需要更容易删除它们然后想知道为什么 OP 没有这样做。由于这是为了学习，因此包含在内。
硬编码测试
:- begin_tests(white_space).
test(001) :-
String = "\t",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\t")),
assertion(Rest == []).
test(011) :-
String = "\t\r",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\t\r")),
assertion(Rest == []).
test(043) :-
String = "\s\s\s",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\s\s\s")),
assertion(Rest == []).
:- end_tests(white_space).
在此示例中，变量为 String，例如"\t"，以及令牌中的值 tokWhitespace，例如"\t"。
单个空白字符是：
?- code_type(Char,space).
Char = 9 ; % tokHorizontalTab \t
Char = 10 ; % tokLineFeed \n
Char = 11 ; % tokVerticalTab \v
Char = 12 ; % tokFormFeed \f
Char = 13 ; % tokCarriageReturn \r
Char = 32 ; % tokSpace \s
Char = 160 ; % Yes, there are space characters defined beyond 7-bit ASCII. See: https://en.wikipedia.org/wiki/Whitespace_character#Unicode
Char = 5760 ;
...
从数十年编写 lexer/tokenization 测试中吸取的一个教训是，每个单独的字符都需要进行测试。此外，测试不应以与 lexer/tokenizer 中的检查相同的方式生成值。在这种情况下，测试不应该依赖于 code_type/2，因为它在 lexer/tokenizer 中使用，如果 code_type/2 在某些如何获得错误的地方，测试将不会检测到它。所以测试用例将通过不同的方式获取字符，在这个例子中它们将来自列表。
从数十年的递归代码测试中吸取的第二个教训是，测试至少需要测试三个层次。在此示例中，空白字符的测试将测试最多三个字符的序列。
第三个教训是，使用组合、排列、类型构造函数和类型析构函数等函数的函数组合减少了编写测试数据生成器的combinatorial explosion；相反，它们有助于测试用例的组合爆炸。要在 Prolog 中执行此操作，需要将函数概念转换为 Prolog 谓词。
根据这些课程，需要一些辅助谓词。
comb(0,_,[]).
comb(N,[X|T],[X|Comb]) :-
N>0,
N1 is N-1,
comb(N1,T,Comb).
comb(N,[_|T],Comb) :-
N>0,
comb(N,T,Comb).
variation_string(N,L,String) :-
between(1,N,N0),
comb(N0,L,L1),
permutation(L1,L2),
string_chars(String,L2).
variation_number(N,L,String,Number) :-
between(1,N,N0),
comb(N0,L,L1),
permutation(L1,L2),
string_chars(String,L2),
number_chars(Number,L2).
用法示例：
?- variation_string(3,['\t','\r','\n'],String).
String = "\t" ;
String = "\r" ;
String = "\n" ;
String = "\t\r" ;
String = "\r\t" ;
String = "\t\n" ;
String = "\n\t" ;
String = "\r\n" ;
String = "\n\r" ;
String = "\t\r\n" ;
String = "\t\n\r" ;
String = "\r\t\n" ;
String = "\r\n\t" ;
String = "\n\t\r" ;
String = "\n\r\t" ;
false.
为了使 forall 的阅读更简单，创建了一个辅助谓词。
generator_ascii_7bit_char_type_white(R) :-
variation_string(3,['\t','\n','\v','\f','\r','\s'],R).
现在在测试中简单地使用带有 forall 的生成器。
:- begin_tests(white_space).
test(000, [forall(generator_ascii_7bit_char_type_white(String))]) :-
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace(String)),
assertion(Rest == []).
:- end_tests(white_space).
用这么少的代码创建了所有这些测试，运行（每个点代表一个单独的测试用例）。
% PL-Unit: white_space ............................................................................................................................................................ done
示例 3
这个例子test a non-deterministic predicate so needs to use findall。谓词也有两个输入参数和两个输出参数。
findall/3的签名是
findall(+Template, :Goal, -Bag)
要将两个值与 finall/3 一起使用，Template 不是元组，例如(A,B)，而是一个列表，例如[A,B]，而Bag是列表的列表，例如[["1",1],["2",2]] 其中列表中的每个项目都是结果，内部列表中的项目是相应 Template 参数的值。
本例测试variation_number/4
:- begin_tests(variation_number_4).
variation_number_4(0,[],[]).
variation_number_4(1,[],[]).
variation_number_4(2,[],[]).
variation_number_4(3,[],[]).
variation_number_4(0,['1'],[]).
variation_number_4(1,['1'],[["1",1]]).
variation_number_4(2,['1'],[["1",1]]).
variation_number_4(3,['1'],[["1",1]]).
variation_number_4(0,['1','2'],[]).
variation_number_4(1,['1','2'],[["1",1],["2",2]]).
variation_number_4(2,['1','2'],[["1",1],["2",2],["12",12],["21",21]]).
variation_number_4(3,['1','2'],[["1",1],["2",2],["12",12],["21",21]]).
variation_number_4(0,['1','2','3'],[]).
variation_number_4(1,['1','2','3'],[["1",1],["2",2],["3",3]]).
variation_number_4(2,['1','2','3'],[["1",1],["2",2],["3",3],["12",12],["21",21],["13",13],["31",31],["23",23],["32",32]]).
variation_number_4(3,['1','2','3'],[["1",1],["2",2],["3",3],["12",12],["21",21],["13",13],["31",31],["23",23],["32",32],["123",123],["132",132],["213",213],["231",231],["312",312],["321",321]]).
variation_number_4(0,['1','2','3','4'],[]).
variation_number_4(1,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4]]).
variation_number_4(2,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4],["12",12],["21",21],["13",13],["31",31],["14",14],["41",41],["23",23],["32",32],["24",24],["42",42],["34",34],["43",43]]).
variation_number_4(3,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4],["12",12],["21",21],["13",13],["31",31],["14",14],["41",41],["23",23],["32",32],["24",24],["42",42],["34",34],["43",43],["123",123],["132",132],["213",213],["231",231],["312",312],["321",321],["124",124],["142",142],["214",214],["241",241],["412",412],["421",421],["134",134],["143",143],["314",314],["341",341],["413",413],["431",431],["234",234],["243",243],["324",324],["342",342],["423",423],["432",432]]).
test(000, forall(variation_number_4(Len,L,R0s))) :-
findall([R,N],variation_number(Len,L,R,N),Rs),
assertion(Rs == R0s).
:- end_tests(variation_number_4).
请注意，断言不正确。他们应该是：
...
assertion(Rest == []),
assertion(Token \== tokUnknown).
否则 return Rest 或 Token 未绑定的错误将不会被测试检测到。
关于您对 forall/1 选项的问题，我希望以下方法有效（但未尝试）：
test(002, [forall(between(0, 127, Code))]) :-
char_code(Char, Code),
phrase(tokenizer_unknown(Token), [Char], Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
对于我的词法分析器（tokenizer) all of the ASCII 7-bit characters (0x00 to 0x7F) have a specific token. As SWI-Prolog supports Unicode，字符代码从 0x0000 到 0xFFFF。
在我的词法分析器中，由于有许多字符不会映射到特定标记，所以有一个未知标记 (tokUnknown)。
为了确保代码在0到127（0x00到0x7F）之间的所有字符都没有tokUnknown，需要测试用例。
测试用例需要一个简单的词法分析器来将字符转换为标记。
tokenizer_unknown(Token) -->
(
white_space_char(W), !, white_space(W, S),
{ Token = tokWhitespace(S) }
;
[S],
{ special_character(S,Token) }
;
digit(D), !, number(D, N),
{ Token = tokNumber(N) }
;
letter(L), !, word(L, W),
{ Token = tokWord(W) }
;
[_],
{ Token = tokUnknown }
), !.
这是代码为 0 的字符的测试用例。
:- begin_tests(unknown).
test(001) :-
Code = 0,
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
:- end_tests(unknown).
以这种方式编写测试需要 128 个不同的测试来检查 tokUnknown。
SWI-Prolog 单元测试库plunit has an option forall 生成数据。
根据文档，测试应如下所示：
test(002, [forall(???)]) :-
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
是否可以使用 forall 选项只编写一个测试用例，而不是为这个测试系列编写 128 个单独的测试用例？
你能给出一个使用 forall 的测试用例的工作版本吗？
跟进
forall 的模板是 forall(:Generator)。
当我第一次看到这个时，我完全感到困惑，差点走开回去编写大量测试，但坚持下去，因为我知道这对于进行参数化测试应该是多么有价值和容易，例如JUnit 5 or NUnit 3. Parameterized test can then be used for fuzzing and fuzzing can be enhanced to generate counter examples, e.g. QuickCheck, FsCheck
示例 1
在硬编码测试中
test(001) :-
Code = 0,
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
我想使 Code 成为每次测试都会更改的变量。我也知道 Code 的限制，即 0 到 127。
因此对于这个简单的生成器，所需要的只是一个谓词，它在调用时生成从 0 到 127 的值，并将它们 return 编辑为变量，例如Code.
between/3 满足要求，例如
?- between(0,3,Code).
Code = 0 ;
Code = 1 ;
Code = 2 ;
Code = 3.
看答案可以看出，把谓词给forall就行了，例如
forall(between(0, 127, Code))
示例 2
此测试用于检查 ASCII 7 位字符 return 的所有单个 whitespace 字符或空白字符序列是否为 tokWhitespace，并且空白字符是令牌的字符串值。
带有空白标记的习惯是不包括标记中的字符，但在这里包括它们是因为如果需要更容易删除它们然后想知道为什么 OP 没有这样做。由于这是为了学习，因此包含在内。
硬编码测试
:- begin_tests(white_space).
test(001) :-
String = "\t",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\t")),
assertion(Rest == []).
test(011) :-
String = "\t\r",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\t\r")),
assertion(Rest == []).
test(043) :-
String = "\s\s\s",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\s\s\s")),
assertion(Rest == []).
:- end_tests(white_space).
在此示例中，变量为 String，例如"\t"，以及令牌中的值 tokWhitespace，例如"\t"。
单个空白字符是：
?- code_type(Char,space).
Char = 9 ; % tokHorizontalTab \t
Char = 10 ; % tokLineFeed \n
Char = 11 ; % tokVerticalTab \v
Char = 12 ; % tokFormFeed \f
Char = 13 ; % tokCarriageReturn \r
Char = 32 ; % tokSpace \s
Char = 160 ; % Yes, there are space characters defined beyond 7-bit ASCII. See: https://en.wikipedia.org/wiki/Whitespace_character#Unicode
Char = 5760 ;
...
从数十年编写 lexer/tokenization 测试中吸取的一个教训是，每个单独的字符都需要进行测试。此外，测试不应以与 lexer/tokenizer 中的检查相同的方式生成值。在这种情况下，测试不应该依赖于 code_type/2，因为它在 lexer/tokenizer 中使用，如果 code_type/2 在某些如何获得错误的地方，测试将不会检测到它。所以测试用例将通过不同的方式获取字符，在这个例子中它们将来自列表。
从数十年的递归代码测试中吸取的第二个教训是，测试至少需要测试三个层次。在此示例中，空白字符的测试将测试最多三个字符的序列。
第三个教训是，使用组合、排列、类型构造函数和类型析构函数等函数的函数组合减少了编写测试数据生成器的combinatorial explosion；相反，它们有助于测试用例的组合爆炸。要在 Prolog 中执行此操作，需要将函数概念转换为 Prolog 谓词。
根据这些课程，需要一些辅助谓词。
comb(0,_,[]).
comb(N,[X|T],[X|Comb]) :-
N>0,
N1 is N-1,
comb(N1,T,Comb).
comb(N,[_|T],Comb) :-
N>0,
comb(N,T,Comb).
variation_string(N,L,String) :-
between(1,N,N0),
comb(N0,L,L1),
permutation(L1,L2),
string_chars(String,L2).
variation_number(N,L,String,Number) :-
between(1,N,N0),
comb(N0,L,L1),
permutation(L1,L2),
string_chars(String,L2),
number_chars(Number,L2).
用法示例：
?- variation_string(3,['\t','\r','\n'],String).
String = "\t" ;
String = "\r" ;
String = "\n" ;
String = "\t\r" ;
String = "\r\t" ;
String = "\t\n" ;
String = "\n\t" ;
String = "\r\n" ;
String = "\n\r" ;
String = "\t\r\n" ;
String = "\t\n\r" ;
String = "\r\t\n" ;
String = "\r\n\t" ;
String = "\n\t\r" ;
String = "\n\r\t" ;
false.
为了使 forall 的阅读更简单，创建了一个辅助谓词。
generator_ascii_7bit_char_type_white(R) :-
variation_string(3,['\t','\n','\v','\f','\r','\s'],R).
现在在测试中简单地使用带有 forall 的生成器。
:- begin_tests(white_space).
test(000, [forall(generator_ascii_7bit_char_type_white(String))]) :-
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace(String)),
assertion(Rest == []).
:- end_tests(white_space).
用这么少的代码创建了所有这些测试，运行（每个点代表一个单独的测试用例）。
% PL-Unit: white_space ............................................................................................................................................................ done
示例 3
这个例子test a non-deterministic predicate so needs to use findall。谓词也有两个输入参数和两个输出参数。
findall/3的签名是
findall(+Template, :Goal, -Bag)
要将两个值与 finall/3 一起使用，Template 不是元组，例如(A,B)，而是一个列表，例如[A,B]，而Bag是列表的列表，例如[["1",1],["2",2]] 其中列表中的每个项目都是结果，内部列表中的项目是相应 Template 参数的值。
本例测试variation_number/4
:- begin_tests(variation_number_4).
variation_number_4(0,[],[]).
variation_number_4(1,[],[]).
variation_number_4(2,[],[]).
variation_number_4(3,[],[]).
variation_number_4(0,['1'],[]).
variation_number_4(1,['1'],[["1",1]]).
variation_number_4(2,['1'],[["1",1]]).
variation_number_4(3,['1'],[["1",1]]).
variation_number_4(0,['1','2'],[]).
variation_number_4(1,['1','2'],[["1",1],["2",2]]).
variation_number_4(2,['1','2'],[["1",1],["2",2],["12",12],["21",21]]).
variation_number_4(3,['1','2'],[["1",1],["2",2],["12",12],["21",21]]).
variation_number_4(0,['1','2','3'],[]).
variation_number_4(1,['1','2','3'],[["1",1],["2",2],["3",3]]).
variation_number_4(2,['1','2','3'],[["1",1],["2",2],["3",3],["12",12],["21",21],["13",13],["31",31],["23",23],["32",32]]).
variation_number_4(3,['1','2','3'],[["1",1],["2",2],["3",3],["12",12],["21",21],["13",13],["31",31],["23",23],["32",32],["123",123],["132",132],["213",213],["231",231],["312",312],["321",321]]).
variation_number_4(0,['1','2','3','4'],[]).
variation_number_4(1,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4]]).
variation_number_4(2,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4],["12",12],["21",21],["13",13],["31",31],["14",14],["41",41],["23",23],["32",32],["24",24],["42",42],["34",34],["43",43]]).
variation_number_4(3,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4],["12",12],["21",21],["13",13],["31",31],["14",14],["41",41],["23",23],["32",32],["24",24],["42",42],["34",34],["43",43],["123",123],["132",132],["213",213],["231",231],["312",312],["321",321],["124",124],["142",142],["214",214],["241",241],["412",412],["421",421],["134",134],["143",143],["314",314],["341",341],["413",413],["431",431],["234",234],["243",243],["324",324],["342",342],["423",423],["432",432]]).
test(000, forall(variation_number_4(Len,L,R0s))) :-
findall([R,N],variation_number(Len,L,R,N),Rs),
assertion(Rs == R0s).
:- end_tests(variation_number_4).
请注意，断言不正确。他们应该是：
...
assertion(Rest == []),
assertion(Token \== tokUnknown).
否则 return Rest 或 Token 未绑定的错误将不会被测试检测到。
关于您对 forall/1 选项的问题，我希望以下方法有效（但未尝试）：
test(002, [forall(between(0, 127, Code))]) :-
char_code(Char, Code),
phrase(tokenizer_unknown(Token), [Char], Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).