各位高人紧急求助!

回复: 各位高人紧急求助!

1、“字”是汉语中才有的概念。我们常说常用汉字6763个,就是指的“字”。
2、“word”是英语中才有的概念。GLM统计至今英语词汇量突破了100万,就是指的“word”。
3、“字符”是信息处理中的一个概念。它是与数值相对而言的。

一般而言,英语语料库的大小都以word数目(token)来计算。
 
Back
顶部