对于我的词法分析器（分词器 https://en.wikipedia.org/wiki/Lexical_analysis#Tokenization） 全部ASCII https://en.wikipedia.org/wiki/ASCII 7-bit https://en.wikipedia.org/wiki/ASCII#7-bit_codes字符（0x00 到 0x7F）具有特定的标记。作为SWI-Prologsupports http://www.swi-prolog.org/pldoc/man?section=unicodesyntax Unicode https://en.wikipedia.org/wiki/Unicode，字符代码从 0x0000 到 0xFFFF。
在我的词法分析器中，由于有许多字符不会映射到特定标记，因此存在未知标记 (tokUnknown)。
确保代码在 0 到 127（0x00 到 0x7F）之间的所有字符都没有tokUnknown，需要测试用例。
测试用例需要一个简单的词法分析器将字符转换为标记。
tokenizer_unknown(Token) -->
(
white_space_char(W), !, white_space(W, S),
{ Token = tokWhitespace(S) }
;
[S],
{ special_character(S,Token) }
;
digit(D), !, number(D, N),
{ Token = tokNumber(N) }
;
letter(L), !, word(L, W),
{ Token = tokWord(W) }
;
[_],
{ Token = tokUnknown }
), !.
这是代码为 0 的字符的测试用例。
:- begin_tests(unknown).
test(001) :-
Code = 0,
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
:- end_tests(unknown).
以这种方式编写测试需要 128 个不同的测试来检查tokUnknown.
SWI-Prolog 单元测试库plunit http://www.swi-prolog.org/pldoc/doc_for?object=section(%27packages/plunit.html%27)有一个选项forall http://www.swi-prolog.org/pldoc/man?section=unitbox生成数据。
根据文档，测试应如下所示：
test(002, [forall(???)]) :-
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
Can the forall是否可以使用该选项仅编写一个测试用例，而不是为此测试系列编写 128 个单独的测试用例？
你能给出使用 forall 的测试用例的工作版本吗？
跟进
forall 的模板是forall(:Generator).
当我第一次看到这个时，我完全感到困惑，几乎走开，回去编写大量测试，但坚持下去，知道这对于进行参数化测试有多么有价值和容易，例如JUnit 5 https://junit.org/junit5/docs/current/user-guide/#writing-tests-parameterized-tests or NUnit 3 https://github.com/nunit/docs/wiki/Parameterized-Tests。然后可以使用参数化测试fuzzing https://en.wikipedia.org/wiki/Fuzzing并且可以增强模糊测试以生成反例 https://en.wikipedia.org/wiki/Counterexample, e.g. 快速检查 http://www.cse.chalmers.se/~rjmh/QuickCheck/, FsCheck https://github.com/fscheck/FsCheck
实施例1
在硬编码测试中
test(001) :-
Code = 0,
char_code(Char,Code),
Chars = [Char],
phrase(tokenizer_unknown(Token),Chars,Rest),
assertion(Rest == []),
assertion(Token \== tokUnknown).
我想做Code每次测试都会改变的变量。我也知道的限制Code，即 0 到 127。
因此，对于这个简单的生成器，所需要的只是一个谓词，在调用时生成 0 到 127 之间的值并将它们作为变量返回，例如Code.
之间/3 http://www.swi-prolog.org/pldoc/man?predicate=between/3满足要求，例如
?- between(0,3,Code).
Code = 0 ;
Code = 1 ;
Code = 2 ;
Code = 3.
通过查看答案可以看出，只需将谓词赋予forall, e.g.
forall(between(0, 127, Code))
实施例2
该测试旨在检查所有个人空白 https://en.wikipedia.org/wiki/Whitespace_characterASCII 7 位字符的字符或空白字符序列返回为tokWhitespace并且空白字符是标记的字符串值。
使用空白标记的习惯是不包含标记中的字符，但这里包含它们是因为如果需要的话更容易删除它们然后想知道为什么OP没有这样做。因为这是为了学习，所以它们被包括在内。
硬编码测试
:- begin_tests(white_space).
test(001) :-
String = "\t",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\t")),
assertion(Rest == []).
test(011) :-
String = "\t\r",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\t\r")),
assertion(Rest == []).
test(043) :-
String = "\s\s\s",
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace("\s\s\s")),
assertion(Rest == []).
:- end_tests(white_space).
在此示例中，变量是String, e.g. "\t"，以及令牌中的值tokWhitespace, e.g. "\t".
单个空白字符是：
?- code_type(Char,space).
Char = 9 ; % tokHorizontalTab \t
Char = 10 ; % tokLineFeed \n
Char = 11 ; % tokVerticalTab \v
Char = 12 ; % tokFormFeed \f
Char = 13 ; % tokCarriageReturn \r
Char = 32 ; % tokSpace \s
Char = 160 ; % Yes, there are space characters defined beyond 7-bit ASCII. See: https://en.wikipedia.org/wiki/Whitespace_character#Unicode
Char = 5760 ;
...
从数十年编写词法分析器/标记化测试中吸取的一个教训是，每个单独的字符都需要进行测试。此外，测试不应以与词法分析器/分词器中检查相同的方式生成值。在这种情况下，测试不应依赖于code_type/2因为这是在词法分析器/分词器中使用的，如果code_type/2有些测试无法检测到错误。因此测试用例将通过不同的方式获取字符，在本例中它们将来自列表。
从数十年的递归代码测试中学到的第二个教训是，测试需要至少测试三个级别。在此示例中，空白字符的测试将测试最多三个字符的序列。
第三个教训是，使用具有组合、排列、类型构造函数和类型析构函数等函数的函数组合可以减少组合爆炸 https://en.wikipedia.org/wiki/Combinatorial_explosion编写测试数据生成器；相反，它们会导致测试用例的组合爆炸。要在 Prolog 中执行此操作，需要将函数概念转换为 Prolog 谓词。
基于这些经验教训，需要一些辅助谓词。
comb(0,_,[]).
comb(N,[X|T],[X|Comb]) :-
N>0,
N1 is N-1,
comb(N1,T,Comb).
comb(N,[_|T],Comb) :-
N>0,
comb(N,T,Comb).
variation_string(N,L,String) :-
between(1,N,N0),
comb(N0,L,L1),
permutation(L1,L2),
string_chars(String,L2).
variation_number(N,L,String,Number) :-
between(1,N,N0),
comb(N0,L,L1),
permutation(L1,L2),
string_chars(String,L2),
number_chars(Number,L2).
用法示例：
?- variation_string(3,['\t','\r','\n'],String).
String = "\t" ;
String = "\r" ;
String = "\n" ;
String = "\t\r" ;
String = "\r\t" ;
String = "\t\n" ;
String = "\n\t" ;
String = "\r\n" ;
String = "\n\r" ;
String = "\t\r\n" ;
String = "\t\n\r" ;
String = "\r\t\n" ;
String = "\r\n\t" ;
String = "\n\t\r" ;
String = "\n\r\t" ;
false.
为了保持阅读forall创建辅助谓词更简单。
generator_ascii_7bit_char_type_white(R) :-
variation_string(3,['\t','\n','\v','\f','\r','\s'],R).
现在简单地使用生成器forall在测试中。
:- begin_tests(white_space).
test(000, [forall(generator_ascii_7bit_char_type_white(String))]) :-
string_codes(String,Codes),
phrase(whitespace(Tokens),Codes,Rest),
assertion(Tokens == tokWhitespace(String)),
assertion(Rest == []).
:- end_tests(white_space).
使用如此少的代码创建并运行所有这些测试（每个点代表一个单独的测试用例）。
% PL-Unit: white_space ............................................................................................................................................................ done
实施例3
这个例子测试非确定性谓词 http://www.swi-prolog.org/pldoc/man?section=testnondet所以需要使用findall http://www.swi-prolog.org/pldoc/man?section=allsolutions。该谓词还有两个输入参数和两个输出参数。
findall/3 的签名是
findall(+Template, :Goal, -Bag)
使用两个值finall/3 the Template不是元组，例如(A,B)，但是一个列表，例如[A,B]，以及Bag是列表的列表，例如[["1",1],["2",2]]其中列表中的每个项目都是结果，内部列表中的项目是相应的值Template参数。
本例测试variation_number/4
:- begin_tests(variation_number_4).
variation_number_4(0,[],[]).
variation_number_4(1,[],[]).
variation_number_4(2,[],[]).
variation_number_4(3,[],[]).
variation_number_4(0,['1'],[]).
variation_number_4(1,['1'],[["1",1]]).
variation_number_4(2,['1'],[["1",1]]).
variation_number_4(3,['1'],[["1",1]]).
variation_number_4(0,['1','2'],[]).
variation_number_4(1,['1','2'],[["1",1],["2",2]]).
variation_number_4(2,['1','2'],[["1",1],["2",2],["12",12],["21",21]]).
variation_number_4(3,['1','2'],[["1",1],["2",2],["12",12],["21",21]]).
variation_number_4(0,['1','2','3'],[]).
variation_number_4(1,['1','2','3'],[["1",1],["2",2],["3",3]]).
variation_number_4(2,['1','2','3'],[["1",1],["2",2],["3",3],["12",12],["21",21],["13",13],["31",31],["23",23],["32",32]]).
variation_number_4(3,['1','2','3'],[["1",1],["2",2],["3",3],["12",12],["21",21],["13",13],["31",31],["23",23],["32",32],["123",123],["132",132],["213",213],["231",231],["312",312],["321",321]]).
variation_number_4(0,['1','2','3','4'],[]).
variation_number_4(1,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4]]).
variation_number_4(2,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4],["12",12],["21",21],["13",13],["31",31],["14",14],["41",41],["23",23],["32",32],["24",24],["42",42],["34",34],["43",43]]).
variation_number_4(3,['1','2','3','4'],[["1",1],["2",2],["3",3],["4",4],["12",12],["21",21],["13",13],["31",31],["14",14],["41",41],["23",23],["32",32],["24",24],["42",42],["34",34],["43",43],["123",123],["132",132],["213",213],["231",231],["312",312],["321",321],["124",124],["142",142],["214",214],["241",241],["412",412],["421",421],["134",134],["143",143],["314",314],["341",341],["413",413],["431",431],["234",234],["243",243],["324",324],["342",342],["423",423],["432",432]]).
test(000, forall(variation_number_4(Len,L,R0s))) :-
findall([R,N],variation_number(Len,L,R,N),Rs),
assertion(Rs == R0s).
:- end_tests(variation_number_4).
