机器翻译/统计

统计机器翻译

语言模型

语言模型用于 MT 的 a) 对任意词语序列 (token) 进行评分，以及 b) 给定一个 token 序列，预测下一个最有可能出现在该序列中的 token。正式地说，语言模型是在给定语言中 token 序列上的概率分布。

基于字符的模型

最近，人们发现可以使用子词、字符甚至字节作为语言建模的基本单元。有一些活动特别关注此类模型，以及一般情况下在子词单元上处理语言数据，例如SCLem 2017。