错误 运行 Spacy 实体链接示例
Error running Spacy entity linking example
我正在尝试 spacy 中的实体链接示例。
这是我系统中关于spaCy的信息。
============================== Info about spaCy ==============================
spaCy version 2.2.2
Location C:\Users\manimaran.p\AppData\Local\Continuum\anaconda3\envs\spacy\lib\site-packages\spacy
Platform Windows-8.1-6.3.9600-SP0
Python version 3.7.3
Models
使用这个example to train the entity linker and generating the knowledge base for the same with this example。
我可以使用可用的 en_core_web_md 创建一个知识库,这是相同的输出。
# python "create kb.py" -m en_core_web_md -o pret_kb
Loaded model 'en_core_web_md'
2 kb entities: ['Q2146908', 'Q7381115']
1 kb aliases: ['Russ Cochran']
Saved KB to pret_kb\kb
Saved vocab to pret_kb\vocab
Loading vocab from pret_kb\vocab
Loading KB from pret_kb\kb
2 kb entities: ['Q2146908', 'Q7381115']
1 kb aliases: ['Russ Cochran']
当我尝试使用上面的知识库训练实体链接器时,出现此错误。
# python "entity linker.py" ./pret_kb/kb ./pret_kb/vocab
Created blank 'en' model with vocab from 'pret_kb\vocab'
Loaded Knowledge Base from 'pret_kb\kb'
Traceback (most recent call last):
File "entity linker.py", line 156, in <module>
plac.call(main)
File "C:\Users\manimaran.p\AppData\Local\Continuum\anaconda3\envs\spacy\lib\site-packages\plac_core.py", line 328, in call
cmd, result = parser.consume(arglist)
File "C:\Users\manimaran.p\AppData\Local\Continuum\anaconda3\envs\spacy\lib\site-packages\plac_core.py", line 207, in consume
return cmd, self.func(*(args + varargs + extraopts), **kwargs)
File "entity linker.py", line 113, in main
sgd=optimizer,
File "C:\Users\manimaran.p\AppData\Local\Continuum\anaconda3\envs\spacy\lib\site-packages\spacy\language.py", line 515, in update
proc.update(docs, golds, sgd=get_grads, losses=losses, **kwargs)
File "pipes.pyx", line 1219, in spacy.pipeline.pipes.EntityLinker.update
KeyError: (0, 12)
我确实遵循了指定的说明 here。我使用 en_core_web_md 创建知识库,因为我没有预训练模型。
我没有写任何自定义代码只是为了 运行 这个例子,有人能给我指出正确的方向吗?
在 spaCy 的 GitHub 上的 the following issue 中提出并回答了这个问题。
看起来脚本在实体链接管道重构后不再工作,因为它现在需要管道中的统计或基于规则的 NER 组件。
The new script 将这样的 EntityRuler
添加到管道中作为示例。即,
# Add a custom component to recognize "Russ Cochran" as an entity for the example training data.
# Note that in a realistic application, an actual NER algorithm should be used instead.
ruler = EntityRuler(nlp)
patterns = [{"label": "PERSON", "pattern": [{"LOWER": "russ"}, {"LOWER": "cochran"}]}]
ruler.add_patterns(patterns)
nlp.add_pipe(ruler)
不过,这可以替换为您自己的统计 NER 模型。
我正在尝试 spacy 中的实体链接示例。
这是我系统中关于spaCy的信息。
============================== Info about spaCy ==============================
spaCy version 2.2.2
Location C:\Users\manimaran.p\AppData\Local\Continuum\anaconda3\envs\spacy\lib\site-packages\spacy
Platform Windows-8.1-6.3.9600-SP0
Python version 3.7.3
Models
使用这个example to train the entity linker and generating the knowledge base for the same with this example。
我可以使用可用的 en_core_web_md 创建一个知识库,这是相同的输出。
# python "create kb.py" -m en_core_web_md -o pret_kb
Loaded model 'en_core_web_md'
2 kb entities: ['Q2146908', 'Q7381115']
1 kb aliases: ['Russ Cochran']
Saved KB to pret_kb\kb
Saved vocab to pret_kb\vocab
Loading vocab from pret_kb\vocab
Loading KB from pret_kb\kb
2 kb entities: ['Q2146908', 'Q7381115']
1 kb aliases: ['Russ Cochran']
当我尝试使用上面的知识库训练实体链接器时,出现此错误。
# python "entity linker.py" ./pret_kb/kb ./pret_kb/vocab
Created blank 'en' model with vocab from 'pret_kb\vocab'
Loaded Knowledge Base from 'pret_kb\kb'
Traceback (most recent call last):
File "entity linker.py", line 156, in <module>
plac.call(main)
File "C:\Users\manimaran.p\AppData\Local\Continuum\anaconda3\envs\spacy\lib\site-packages\plac_core.py", line 328, in call
cmd, result = parser.consume(arglist)
File "C:\Users\manimaran.p\AppData\Local\Continuum\anaconda3\envs\spacy\lib\site-packages\plac_core.py", line 207, in consume
return cmd, self.func(*(args + varargs + extraopts), **kwargs)
File "entity linker.py", line 113, in main
sgd=optimizer,
File "C:\Users\manimaran.p\AppData\Local\Continuum\anaconda3\envs\spacy\lib\site-packages\spacy\language.py", line 515, in update
proc.update(docs, golds, sgd=get_grads, losses=losses, **kwargs)
File "pipes.pyx", line 1219, in spacy.pipeline.pipes.EntityLinker.update
KeyError: (0, 12)
我确实遵循了指定的说明 here。我使用 en_core_web_md 创建知识库,因为我没有预训练模型。
我没有写任何自定义代码只是为了 运行 这个例子,有人能给我指出正确的方向吗?
在 spaCy 的 GitHub 上的 the following issue 中提出并回答了这个问题。
看起来脚本在实体链接管道重构后不再工作,因为它现在需要管道中的统计或基于规则的 NER 组件。
The new script 将这样的 EntityRuler
添加到管道中作为示例。即,
# Add a custom component to recognize "Russ Cochran" as an entity for the example training data.
# Note that in a realistic application, an actual NER algorithm should be used instead.
ruler = EntityRuler(nlp)
patterns = [{"label": "PERSON", "pattern": [{"LOWER": "russ"}, {"LOWER": "cochran"}]}]
ruler.add_patterns(patterns)
nlp.add_pipe(ruler)
不过,这可以替换为您自己的统计 NER 模型。