Home / Query / WordAlign / Wiki     [books] [DGT] [DOGC] [ECB] [EMEA] [EUbooks] [EU] [Europarl] [GNOME] [GlobalVoices] [hren] [JRC] [KDE4/doc] [MBS] [MultiUN] [NCv9/v11] [OO/OO3] [subs/12/13/16] [ParCor] [PHP] [SETIMES] [SPC] [Tatoeba] [TEP] [TedTalks] [TED] [Tanzil] [Ubuntu] [UN] [WikiSource] [Wikipedia] [WMT]

OpenSubtitles2012

A collection of documents from http://www.opensubtitles.org/.
IMPORTANT: If you use the OpenSubtitle corpus:
Please, add a link to http://www.opensubtitles.org/ to your website and to your reports and publications produced with the data! I promised this when I got the data from the providers of that website!

This is a slightly cleaner and bigger version of the subtitle collection using improved sentence alignment and better language checking.
The previous release is still available here.

55 languages, 1,076 bitexts
total number of files: 1,415,879
total number of tokens: 8.48G
total number of sentence fragments: 1.24G

Please cite the following article if you use any part of the corpus in your own work:
Jörg Tiedemann, 2012, Parallel Data, Tools and Interfaces in OPUS. In Proceedings of the 8th International Conference on Language Resources and Evaluation (LREC 2012)

News

Download

Bottom-left triangle: download files
  • ces = sentence alignments in XCES format
  • leftmost column language IDs = tokenized corpus files in XML
  • TMX and plain text files (Moses): see "Statistics" below
  • lower row language IDs = parsed corpus files (if they exist)
Upper-right triangle: sample files
  • view = bilingual XML file samples
  • upper row language IDs = monolingual XML file samples
  • rightmost column language IDs = untokenized corpus files

af ar az be bg bn bs ca cs da de el en es et eu fa fi fr gl he hi hr hu id is it ja kk ko lt lv mk ms nb nl pl pt pt_br ro ru si sk sl sq sr sv th tr uk ur vi zh zh_cn zh_tw
af viewviewviewviewviewviewviewaf viewviewviewviewviewviewviewaf viewviewviewaf
ar ces viewviewviewviewviewviewviewviewviewviewviewviewviewar viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewar viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewar
az viewviewviewviewaz viewviewviewaz viewaz
be viewbe be be
bg ces viewviewviewviewviewviewviewviewviewviewviewviewviewbg viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewbg viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewbg
bn viewbn bn bn
bs ces ces viewviewviewviewviewviewviewviewviewviewbs viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewbs viewviewviewviewviewviewviewviewviewviewviewviewviewviewbs
ca ces ces ces ces viewviewviewviewviewviewviewviewviewca viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewca viewviewviewviewviewviewviewviewviewviewviewviewviewca
cs ces ces ces ces ces viewviewviewviewviewviewviewviewviewviewcs viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewcs viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewcs
da ces ces ces ces ces viewviewviewviewviewviewviewviewviewda viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewda viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewda
de ces ces ces ces ces ces ces ces viewviewviewviewviewviewviewviewde viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewde viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewde
el ces ces ces ces ces ces ces ces viewviewviewviewviewviewviewel viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewel viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewel
en ces ces ces ces ces ces ces ces ces viewviewviewviewviewviewen viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewen viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewen
es ces ces ces ces ces ces ces ces ces ces ces ces viewviewviewviewviewes viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewes viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewes
et ces ces ces ces ces ces ces ces ces ces viewviewviewviewet viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewet viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewet
eu ces ces ces ces ces ces ces ces viewvieweu viewviewviewviewviewviewvieweu viewviewviewviewviewviewvieweu
fa ces ces ces ces ces ces ces ces ces ces viewviewfa viewviewviewviewviewviewviewviewviewviewviewviewviewfa viewviewviewviewviewviewviewviewviewviewviewviewfa
fi ces ces ces ces ces ces ces ces ces ces ces ces ces viewfi viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewfi viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewfi
fr ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces fr viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewfr viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewfr
af ar az be bg bn bs ca cs da de el en es et eu fa fi fr gl he hi hr hu id is it ja kk ko lt lv mk ms nb nl pl pt pt_br ro ru si sk sl sq sr sv th tr uk ur vi zh zh_cn zh_tw
gl ces ces gl viewgl gl
he ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces he viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewhe viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewhe
hi ces hi hi hi
hr ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces hr ces viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewhr viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewhr
hu ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces hu ces ces viewviewviewviewviewviewviewviewviewviewviewviewviewviewhu viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewhu
id ces ces ces ces ces ces ces ces ces ces ces ces id ces ces ces viewviewviewviewviewviewviewviewviewid viewviewviewviewviewviewviewid
is ces ces ces ces ces ces ces ces ces ces ces ces ces is ces ces ces viewviewviewviewviewviewviewviewviewviewviewis viewviewviewviewviewviewviewviewviewviewviewviewviewviewis
it ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces it ces ces ces ces ces viewviewviewviewviewviewviewviewviewviewviewit viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewit
ja ces ces ces ces ces ces ces ces ces ces ces ces ces ja ces ces ces ces ces viewviewviewviewviewviewviewviewviewviewja viewviewviewviewviewviewviewviewviewviewviewviewviewviewja
kk ces ces ces kk ces viewviewviewkk viewviewkk
ko ces ces ces ces ces ces ces ces ces ces ces ces ces ces ko ces ces ces ces ces viewviewviewviewviewviewviewko viewviewviewviewviewviewviewviewviewviewviewko
lt ces ces ces ces ces ces ces ces ces ces ces ces ces ces lt ces ces ces ces ces ces ces viewviewviewviewviewviewviewviewlt viewviewviewviewviewviewviewviewviewviewviewviewviewviewlt
lv ces ces ces ces ces ces ces ces ces ces ces ces ces lv ces ces ces ces ces ces ces ces viewviewviewviewviewviewviewlv viewviewviewviewviewviewviewviewviewviewviewviewviewlv
mk ces ces ces ces ces ces ces ces ces ces ces ces ces ces mk ces ces ces ces ces ces ces ces ces viewviewviewviewviewviewmk viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewmk
ms ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ms ces ces ces ces ces ces ces ces ces ces ces viewviewviewviewviewms viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewms
nb ces ces ces ces ces ces ces ces ces ces ces ces ces ces nb ces ces ces ces ces ces ces ces ces ces ces ces viewviewviewviewnb viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewnb
nl ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces nl ces ces ces ces ces ces ces ces ces ces ces ces ces ces viewviewviewnl viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewnl
pl ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces pl ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces viewviewpl viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewpl
pt ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces pt ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces viewpt viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewpt
pt_br ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces pt_br ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces pt_br viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewviewpt_br
af ar az be bg bn bs ca cs da de el en es et eu fa fi fr gl he hi hr hu id is it ja kk ko lt lv mk ms nb nl pl pt pt_br ro ru si sk sl sq sr sv th tr uk ur vi zh zh_cn zh_tw
ro ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ro ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ro viewviewviewviewviewviewviewviewviewviewviewviewviewviewviewro
ru ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ru ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ru ces viewviewviewviewviewviewviewviewviewviewviewviewviewviewru
si ces ces ces ces ces ces ces ces ces ces ces ces si ces ces ces ces ces ces ces ces ces ces ces ces ces ces si ces ces viewviewviewviewviewviewviewviewviewviewsi
sk ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sk ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sk ces ces ces viewviewviewviewviewviewviewviewviewviewviewsk
sl ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sl ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sl ces ces ces ces viewviewviewviewviewviewviewviewviewviewviewsl
sq ces ces ces ces ces ces ces ces ces ces ces ces ces ces sq ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sq ces ces ces ces ces viewviewviewviewviewviewviewviewviewsq
sr ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sr ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sr ces ces ces ces ces ces viewviewviewviewviewviewviewviewsr
sv ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sv ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces sv ces ces ces ces ces ces ces viewviewviewviewviewviewviewviewsv
th ces ces ces ces ces ces ces ces ces ces ces ces ces th ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces th ces ces ces ces ces ces ces viewviewviewviewth
tr ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces tr ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces tr ces ces ces ces ces ces ces ces ces viewviewviewviewviewviewtr
uk ces ces ces ces ces ces ces ces ces ces ces ces ces ces uk ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces uk ces ces ces ces ces ces ces ces ces ces viewviewuk
ur ces ces ces ces ces ces ces ces ces ces ces ur ces ces ces ces ces ces ces ces ces ces ces ur ces ces ces ces ces ces ces ces viewur
vi ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces vi ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces vi ces ces ces ces ces ces ces ces ces ces ces ces viewviewvi
zh ces ces ces ces ces ces ces ces ces zh ces ces ces ces ces ces ces ces zh ces ces ces ces ces viewzh
zh_cn ces ces ces ces ces ces ces ces ces ces ces ces ces ces zh_cn ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces zh_cn ces ces ces ces ces ces ces ces ces ces ces ces ces viewzh_cn
zh_tw ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces zh_tw ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces ces zh_tw ces ces ces ces ces ces ces ces ces ces ces zh_tw
af ar az be bg bn bs ca cs da de el en es et eu fa fi fr gl he hi hr hu id is it ja kk ko lt lv mk ms nb nl pl pt pt_br ro ru si sk sl sq sr sv th tr uk ur vi zh zh_cn zh_tw

Statistics and TMX/Moses Downloads

Number of files, tokens, and sentences per language (including non-parallel ones if they exist)
Number of sentence alignment units per language pair

Upper-right triangle: download translation memory files (TMX)
Bottom-left triangle: download plain text files (MOSES/GIZA++)
Language ID's, first row: monolingual plain text files (tokenized)
Language ID's, first column: monolingual plain text files (untokenized)

language files tokens sentencesaf ar az be bg bn bs ca cs da de el en es et eu fa fi fr gl he hi hr hu id is it ja kk ko lt lv mk ms nb nl pl pt pt_br ro ru si sk sl sq sr sv th tr uk ur vi zh zh_cn zh_tw
af 1 7.5k 0.7k0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k 0.6k
ar 22,813 110.7M 17.2M0.6k 4.8M 0.7M 33.5k 4.8M 2.5M 1.3M 4.5M 6.3M 5.4M 2.6M 3.4k 3.5M 3.9M 4.4M 4.0M 4.4M 2.6k 0.2M 2.7M 0.1M 7.9k 0.2M 83.6k 0.6M 1.0M 1.0M 4.7M 4.2M 4.8M 5.5M 5.5M 1.7M 24.8k 1.2M 3.7M 0.5M 3.7M 2.7M 25.8k 5.0M 37.2k 2.2k 0.3M 0.8k 0.4M 0.2M
az 1 0.2k 3434 32 31 34 24 29 27 34
be 1 7.0k 1.2k1.0k
bg 47,610 264.4M 39.7M5.4M 1.3M 45.9k 9.0M 3.8M 2.5M 8.5M 13.7M 11.2M 3.9M 0.6k 3.3k 6.0M 7.8M 6.8M 7.4M 8.4M 4.1k 0.4M 5.2M 0.1M 1.0k 9.2k 0.3M 0.1M 0.7M 1.2M 1.6M 9.0M 8.6M 9.1M 11.2M 11.7M 3.0M 24.4k 2.1M 6.2M 0.6M 7.1M 4.4M 25.3k 9.6M 57.2k 1.8k 0.4M 0.9k 0.5M 0.3M
bn 1 6.3k 0.4k0.3k
bs 4,245 23.9M 3.7M0.8M 1.5M 5.9k 1.3M 0.7M 0.4M 1.1M 1.6M 1.4M 0.7M 0.9M 1.0M 0.9M 0.8M 1.1M 1.6k 62.1k 0.7M 24.7k 3.2k 78.8k 12.1k 0.2M 0.2M 0.3M 1.2M 1.3M 1.3M 1.4M 1.5M 0.4M 0.5k 0.3M 1.0M 0.1M 1.0M 0.8M 1.9k 1.3M 6.3k 69.0k 65.5k 37.8k
ca 156 1.1M 0.1M0.7k 34.2k 47.4k 6.1k 53.8k 37.0k 28.7k 50.4k 79.9k 88.8k 36.0k 45.6k 60.3k 39.2k 45.8k 52.1k 8.5k 40.5k 5.0k 1.6k 6.4k 2.6k 9.0k 15.3k 21.7k 54.9k 53.7k 51.4k 57.3k 59.8k 31.8k 18.4k 42.2k 10.2k 42.7k 37.5k 1.8k 49.4k 0.8k 5.5k 3.5k 4.3k
cs 74,779 419.1M 65.9M5.4M 34 11.5M 1.5M 60.0k 4.2M 2.8M 8.5M 14.7M 12.3M 4.0M 0.6k 2.9k 6.4M 8.2M 6.6M 7.6M 8.9M 5.3k 0.5M 5.1M 0.1M 11.8k 0.4M 0.1M 0.7M 1.3M 1.8M 9.3M 9.5M 9.5M 11.3M 11.2M 3.0M 19.8k 2.2M 6.4M 0.7M 7.2M 4.9M 27.2k 9.6M 83.0k 1.8k 0.4M 0.9k 0.5M 0.3M
da 13,683 91.4M 13.1M2.7M 4.6M 0.8M 39.7k 5.4M 1.4M 3.6M 5.2M 4.7M 2.5M 0.6k 2.7k 4.0M 3.5M 3.2M 3.5M 3.6M 4.0k 0.4M 2.2M 0.1M 1.1k 6.7k 0.3M 94.3k 0.6M 0.9M 1.9M 4.5M 4.1M 4.4M 4.4M 4.5M 1.2M 15.1k 1.1M 3.6M 0.5M 3.3M 3.5M 20.8k 4.0M 43.6k 0.7k 0.3M 0.9k 0.4M 0.2M
de 10,655 66.1M 9.2M0.7k 1.4M 32 2.8M 0.4M 29.7k 3.4M 1.7M 2.5M 4.2M 3.5M 1.2M 0.6k 1.8k 2.0M 3.1M 1.9M 2.2M 2.7M 3.6k 0.3M 2.3M 35.3k 4.0k 0.1M 58.2k 0.2M 0.3M 1.0M 2.9M 2.6M 2.7M 3.1M 2.9M 1.1M 3.2k 0.6M 1.8M 0.2M 2.0M 1.8M 8.4k 2.7M 28.7k 1.2k 0.1M 0.2M 82.6k
el 46,384 271.1M 37.8M0.7k 5.0M 10.3M 1.2M 54.6k 11.1M 4.3M 2.9M 13.0M 11.3M 3.5M 0.6k 4.3k 5.6M 8.0M 6.2M 6.9M 8.1M 4.8k 0.4M 5.1M 0.1M 10.4k 0.3M 96.9k 0.6M 1.1M 1.6M 8.8M 7.8M 9.0M 11.0M 10.4M 2.7M 16.5k 1.8M 5.5M 0.6M 6.6M 4.2M 26.1k 8.8M 62.2k 1.9k 0.3M 0.8k 0.5M 0.3M
en 217,190 1.5G 202.7M0.7k 7.6M 18.8M 1.9M 91.0k 24.1M 7.4M 5.6M 18.3M 24.9M 4.7M 0.7k 8.4k 8.8M 14.9M 0.1k 9.3M 10.8M 13.7M 14.9k 0.5M 8.5M 0.2M 1.1k 13.7k 0.4M 0.1M 0.8M 1.8M 2.3M 14.5M 14.5M 15.7M 21.8M 18.4M 4.7M 27.8k 2.8M 8.5M 0.7M 10.4M 6.4M 30.2k 14.2M 0.1M 2.0k 0.4M 0.9k 0.7M 0.4M
es 103,176 662.1M 90.4M0.6k 6.2M 31 1.0k 13.9M 1.6M 0.1M 16.5M 6.0M 4.2M 14.1M 39.8M 4.3M 0.6k 6.1k 7.3M 12.4M 0.1k 8.1M 9.2M 11.1M 5.1k 0.5M 7.0M 0.1M 10.9k 0.4M 0.1M 0.7M 1.5M 2.0M 12.3M 11.3M 13.1M 18.2M 14.9M 3.7M 21.5k 2.4M 7.4M 0.7M 8.9M 5.7M 26.7k 12.0M 81.9k 1.8k 0.4M 0.9k 0.5M 0.3M
et 12,870 73.2M 11.8M2.9M 4.7M 0.8M 37.4k 4.9M 3.0M 1.3M 4.0M 6.4M 5.2M 0.7k 1.1k 3.4M 3.3M 3.2M 3.4M 3.7M 3.1k 0.3M 2.2M 99.4k 7.2k 0.3M 0.1M 0.6M 0.9M 1.1M 3.9M 3.8M 4.0M 4.2M 4.4M 1.4M 15.1k 1.2M 3.6M 0.5M 3.2M 2.6M 22.3k 4.0M 50.8k 0.8k 0.3M 0.3M 0.2M
eu 1 3.9k 0.7k0.7k 0.6k 0.7k 0.6k 0.6k 0.7k 0.7k 0.7k 0.6k 0.5k 0.5k 0.6k 0.7k 0.6k 0.6k 0.7k 0.6k 0.7k 0.7k 0.6k 0.6k 0.6k 0.6k 0.5k
fa 3,511 24.3M 0.6M3.5k 3.3k 0.3k 2.9k 2.7k 1.8k 4.3k 8.8k 6.1k 1.1k 2.7k 2.8k 3.1k 0.3k 3.4k 2.0k 2.9k 1.0k 0.6k 3.1k 1.6k 3.6k 2.1k 3.0k 4.7k 2.8k 2.3k 2.3k 2.5k 0.4k 2.9k 1.9k 5.3k 0.4k 0.5k 0.2k 0.4k
fi 37,121 174.1M 31.5M3.9M 7.5M 1.0M 48.9k 8.4M 5.1M 2.4M 6.9M 12.9M 9.4M 4.1M 0.7k 2.7k 5.3M 4.6M 5.2M 5.7M 4.7k 0.5M 3.4M 0.1M 8.0k 0.3M 0.1M 0.7M 1.1M 2.0M 6.6M 6.9M 6.9M 7.3M 7.3M 1.8M 16.1k 1.5M 5.0M 0.6M 4.9M 4.4M 21.7k 6.2M 51.6k 1.9k 0.3M 0.9k 0.4M 0.2M
fr 57,192 363.5M 48.6M0.7k 4.4M 34 9.5M 1.1M 64.3k 11.0M 4.5M 3.7M 10.1M 22.9M 16.7M 3.9M 0.5k 2.9k 6.9M 6.0M 6.5M 8.2M 5.1k 0.4M 5.7M 0.1M 10.6k 0.3M 0.1M 0.6M 1.1M 1.7M 8.5M 7.3M 8.7M 11.4M 9.5M 2.9M 15.2k 1.9M 5.2M 0.5M 5.9M 4.4M 25.5k 8.3M 61.4k 1.8k 0.3M 0.9k 0.5M 0.3M
gl 3 10.4k 0.6k0.1k 0.1k 0.1k
he 43,491 228.4M 31.8M0.6k 5.0M 24 8.2M 1.0M 41.9k 8.4M 3.8M 2.1M 7.7M 13.1M 10.2M 3.7M 0.5k 3.1k 5.6M 7.5M 5.4M 6.2M 1.8k 0.3M 3.8M 0.1M 11.7k 0.3M 95.1k 0.6M 1.0M 1.3M 6.8M 6.1M 6.9M 8.0M 7.8M 2.2M 14.9k 1.5M 4.9M 0.5M 4.9M 3.7M 27.5k 7.1M 51.0k 0.7k 0.3M 0.9k 0.5M 0.3M
hi 4 46.3k 1.5k0.3k
hr 36,358 200.5M 32.3M4.4M 8.9M 0.9M 49.3k 9.7M 4.1M 2.6M 8.3M 14.9M 11.3M 4.0M 0.7k 3.4k 6.3M 7.9M 6.3M 6.8M 4.0k 0.4M 4.1M 0.1M 1.1k 11.0k 0.3M 0.1M 0.7M 1.1M 1.5M 7.8M 7.1M 7.6M 8.9M 9.2M 2.3M 14.6k 1.7M 5.8M 0.6M 5.5M 4.0M 22.5k 7.6M 50.6k 1.9k 0.3M 0.9k 0.4M 0.2M
hu 51,239 262.3M 43.1M0.6k 5.0M 29 10.5M 1.2M 55.0k 11.9M 4.5M 3.1M 10.2M 21.4M 14.7M 4.4M 0.7k 2.0k 7.2M 10.6M 7.8M 8.4M 4.3k 0.4M 5.4M 0.1M 9.9k 0.3M 0.1M 0.6M 1.2M 1.6M 8.8M 8.0M 9.3M 11.3M 10.4M 2.9M 22.0k 2.0M 5.7M 0.6M 6.4M 4.3M 28.1k 8.8M 65.4k 1.9k 0.4M 0.9k 0.4M 0.3M
id 38 0.3M 29.9k2.6k 4.2k 1.6k 5.4k 4.1k 3.7k 4.9k 16.4k 5.2k 3.2k 4.7k 5.1k 1.8k 4.0k 4.3k 4.3k 0.7k 1.0k 2.7k 1.3k 6.1k 4.4k 6.0k 5.8k 6.3k 2.5k 2.9k 3.8k 3.8k 1.2k 4.7k
is 582 4.7M 0.7M0.2M 0.4M 65.0k 8.9k 0.5M 0.5M 0.3M 0.4M 0.6M 0.5M 0.3M 0.5M 0.5M 0.3M 0.4M 0.5M 0.3M 3.2k 38.7k 12.2k 67.0k 0.1M 0.3M 0.4M 0.5M 0.5M 0.4M 0.4M 0.2M 1.9k 87.1k 0.4M 72.2k 0.4M 0.4M 2.0k 0.4M 1.8k 41.7k 25.5k 24.8k
it 23,733 144.2M 19.9M0.6k 2.9M 5.9M 0.7M 43.0k 6.1M 2.5M 2.7M 6.0M 11.0M 8.3M 2.5M 3.1k 4.0M 6.9M 4.3M 4.7M 6.4M 4.3k 0.4M 76.7k 8.7k 0.2M 79.4k 0.4M 0.8M 1.2M 5.3M 4.5M 5.5M 7.2M 6.0M 2.3M 13.2k 1.2M 3.1M 0.4M 3.7M 2.7M 11.7k 5.4M 40.1k 1.1k 0.3M 0.3M 0.1M
ja 507 0 0.4M0.1M 0.1M 24.7k 5.0k 0.1M 0.1M 35.4k 0.1M 0.2M 0.1M 0.1M 0.1M 0.1M 0.1M 0.1M 0.1M 3.2k 77.6k 2.2k 13.1k 5.6k 34.0k 54.9k 45.6k 0.1M 0.1M 0.1M 0.2M 0.1M 57.5k 0.6k 48.7k 0.1M 34.5k 0.1M 0.1M 2.6k 0.1M 2.4k 25.5k 20.4k 15.2k
kk 1 6.3k 1.2k1.0k 1.1k 1.1k 1.1k 0.9k 1.0k 1.0k 1.1k 1.0k
ko 29 0.2M 29.1k0.6k 8.0k 9.3k 3.2k 1.8k 12.0k 6.8k 4.1k 10.6k 14.1k 11.1k 7.3k 8.0k 11.2k 11.8k 11.0k 10.0k 8.9k 2.2k 0.9k 4.4k 4.0k 8.6k 8.7k 11.4k 10.8k 9.2k 5.7k 3.4k 8.4k 4.0k 7.6k 8.3k 8.8k 3.0k 2.6k 1.0k
lt 659 3.7M 0.6M0.3M 0.4M 82.1k 6.5k 0.4M 0.3M 0.1M 0.3M 0.5M 0.4M 0.3M 1.0k 0.3M 0.3M 0.3M 0.3M 0.4M 0.7k 40.4k 0.2M 13.1k 37.0k 90.1k 0.1M 0.2M 0.3M 0.3M 0.4M 0.4M 0.4M 0.2M 3.0k 0.1M 0.3M 59.4k 0.3M 0.3M 2.2k 0.4M 2.7k 46.9k 37.2k 19.5k
lv 191 1.2M 0.2M85.3k 0.1M 12.3k 2.7k 0.1M 99.1k 60.5k 0.1M 0.2M 0.1M 0.1M 0.1M 0.1M 98.2k 0.1M 0.1M 1.0k 12.8k 83.4k 5.6k 39.3k 38.3k 50.2k 63.1k 0.1M 0.1M 0.1M 0.1M 0.1M 74.9k 48.9k 0.1M 30.7k 0.1M 92.1k 1.3k 0.1M 7.0k 22.5k 16.3k 5.0k
mk 1,402 9.6M 1.5M0.6M 0.8M 0.2M 9.1k 0.8M 0.6M 0.2M 0.7M 0.9M 0.8M 0.6M 0.6k 0.7M 0.6M 0.6M 0.8M 0.7M 70.2k 0.4M 34.1k 0.9k 93.9k 40.0k 0.2M 0.3M 0.7M 0.7M 0.7M 0.8M 0.8M 0.3M 6.0k 0.3M 0.7M 0.2M 0.7M 0.6M 9.4k 0.7M 6.6k 1.8k 98.7k 74.1k 40.9k
ms 3,795 27.4M 4.1M0.7k 1.1M 1.4M 0.2M 15.7k 1.5M 1.0M 0.4M 1.3M 2.5M 1.8M 1.0M 3.2k 1.3M 1.3M 1.1M 1.3M 1.5M 2.8k 0.1M 0.9M 55.4k 4.5k 0.1M 52.9k 0.3M 0.4M 1.3M 1.2M 1.4M 1.5M 1.4M 0.5M 18.0k 0.4M 1.1M 0.3M 1.0M 0.9M 17.1k 1.3M 26.7k 0.8k 0.2M 0.9k 0.2M 0.1M
nb 4,225 28.2M 4.3M1.1M 1.8M 0.3M 22.3k 2.2M 2.4M 1.2M 1.8M 2.9M 2.4M 1.2M 1.6k 2.4M 2.0M 1.4M 1.8M 1.9M 1.3k 0.4M 1.3M 45.8k 4.0k 0.2M 65.9k 0.3M 0.4M 1.9M 1.8M 1.9M 1.8M 1.9M 0.6M 8.1k 0.4M 1.5M 0.2M 1.5M 1.9M 12.8k 1.8M 30.6k 1.2k 0.2M 0.2M 0.1M
nl 61,640 387.2M 53.8M5.4M 11.4M 1.4M 58.5k 13.2M 5.8M 3.5M 11.6M 24.4M 17.0M 4.8M 0.7k 3.6k 8.9M 11.9M 8.8M 9.9M 12.2M 6.2k 0.5M 6.4M 0.1M 0.9k 8.7k 0.4M 0.1M 0.8M 1.6M 2.3M 9.0M 10.6M 11.6M 11.7M 2.7M 16.8k 2.0M 6.7M 0.7M 7.1M 5.1M 26.5k 9.5M 57.1k 1.9k 0.4M 0.9k 0.5M 0.3M
pl 142,405 772.4M 124.3M0.7k 4.7M 27 11.0M 1.4M 56.4k 14.3M 5.1M 3.2M 10.0M 23.8M 14.9M 4.6M 0.6k 2.1k 9.5M 9.7M 0.1k 7.7M 9.0M 10.5M 4.6k 0.5M 5.3M 0.1M 1.0k 8.8k 0.4M 0.1M 0.8M 1.3M 2.1M 12.9M 9.1M 10.6M 11.0M 2.4M 17.8k 1.9M 6.4M 0.6M 7.1M 4.5M 19.8k 9.0M 69.1k 1.9k 0.3M 0.9k 0.4M 0.3M
pt 61,263 387.8M 55.7M0.7k 5.4M 11.4M 1.4M 53.5k 12.9M 5.5M 3.2M 11.5M 24.3M 17.7M 4.8M 0.7k 3.0k 8.8M 11.5M 8.7M 9.4M 12.2M 6.1k 0.5M 6.8M 0.1M 1.1k 11.5k 0.4M 0.1M 0.8M 1.7M 2.2M 14.7M 12.2M 13.2M 11.9M 2.8M 20.2k 2.0M 6.8M 0.7M 7.2M 5.1M 27.5k 9.7M 68.1k 1.8k 0.4M 0.9k 0.5M 0.3M
pt_br 95,541 587.0M 85.4M6.3M 14.1M 1.6M 59.7k 15.4M 5.6M 3.7M 14.0M 34.6M 25.2M 5.2M 0.6k 4.7k 9.5M 15.1M 10.3M 11.1M 15.4M 6.4k 0.4M 8.9M 0.2M 10.9k 0.4M 0.1M 0.8M 1.8M 2.1M 16.9M 14.2M 20.2M 14.7M 3.6M 28.2k 2.4M 7.2M 0.7M 8.6M 5.3M 27.9k 11.7M 76.9k 2.0k 0.4M 0.9k 0.6M 0.3M
ro 76,776 493.5M 69.7M0.7k 6.3M 14.8M 1.7M 62.4k 15.1M 5.4M 3.4M 13.1M 28.0M 19.5M 5.3M 0.7k 2.8k 9.1M 12.1M 9.6M 11.5M 13.6M 6.3k 0.5M 7.1M 0.1M 1.1k 9.4k 0.4M 0.1M 0.9M 1.7M 2.2M 15.9M 14.8M 15.9M 20.2M 3.2M 27.4k 2.4M 7.6M 0.7M 8.9M 5.3M 25.6k 11.7M 76.4k 1.9k 0.4M 0.9k 0.5M 0.3M
ru 12,802 68.0M 10.2M0.7k 1.8M 3.4M 0.4M 34.2k 3.4M 1.3M 1.3M 3.0M 5.9M 4.2M 1.6M 2.4k 2.0M 3.2M 2.5M 2.5M 3.2M 2.5k 0.2M 2.6M 57.8k 5.9k 0.2M 78.7k 0.3M 0.6M 0.7M 3.1M 2.7M 3.2M 4.1M 3.7M 13.6k 0.7M 1.9M 0.2M 2.1M 1.5M 12.8k 3.0M 54.4k 0.7k 0.2M 0.9k 0.2M 98.1k
si 36 0.3M 44.2k25.3k 25.0k 0.6k 21.3k 16.3k 3.2k 16.8k 31.3k 22.2k 15.4k 17.6k 16.0k 15.2k 14.9k 22.5k 2.0k 13.5k 0.6k 3.0k 6.1k 18.5k 8.1k 17.0k 18.2k 22.1k 30.3k 29.3k 13.8k 3.7k 19.6k 7.2k 18.6k 13.9k 21.1k 1.1k 3.9k 5.1k 2.6k
sk 8,151 46.8M 7.2M1.4M 34 2.4M 0.4M 19.0k 3.1M 1.2M 0.6M 2.1M 3.8M 2.9M 1.3M 0.7k 2.3k 1.7M 2.2M 1.8M 2.0M 2.5M 2.9k 91.1k 1.3M 49.3k 3.4k 0.2M 51.1k 0.3M 0.4M 0.5M 2.4M 2.3M 2.4M 2.9M 2.9M 0.8M 3.8k 1.5M 0.2M 1.6M 1.2M 4.1k 2.1M 19.2k 1.1k 0.1M 0.2M 0.1M
sl 30,746 167.7M 27.4M4.1M 7.9M 1.2M 43.8k 8.5M 4.4M 2.1M 6.7M 12.8M 9.6M 4.4M 0.6k 2.5k 6.3M 6.5M 6.0M 7.4M 7.2M 3.9k 0.4M 3.6M 0.1M 8.5k 0.4M 0.1M 0.8M 1.2M 1.7M 8.8M 8.3M 8.6M 9.3M 9.6M 2.1M 20.1k 1.8M 0.6M 5.2M 3.9M 26.3k 6.4M 60.8k 1.8k 0.4M 0.9k 0.4M 0.3M
sq 1,400 10.6M 1.5M0.6M 0.7M 0.1M 10.4k 0.7M 0.5M 0.2M 0.7M 0.9M 0.8M 0.6M 0.4k 0.7M 0.6M 0.6M 0.6M 0.7M 75.0k 0.5M 34.7k 4.0k 62.0k 31.8k 0.2M 0.4M 0.3M 0.8M 0.7M 0.8M 0.8M 0.8M 0.3M 7.3k 0.2M 0.7M 0.6M 0.5M 10.4k 0.7M 7.7k 0.8k 0.1M 97.1k 52.9k
sr 32,942 194.8M 30.0M4.1M 8.6M 1.2M 44.3k 9.0M 3.9M 2.3M 7.8M 14.2M 10.8M 3.8M 0.7k 2.9k 5.9M 7.0M 5.6M 7.4M 7.7M 3.9k 0.4M 4.2M 0.1M 1.0k 7.7k 0.3M 0.1M 0.8M 1.2M 1.7M 8.8M 8.8M 8.7M 10.5M 10.9M 2.3M 20.0k 1.9M 6.6M 0.7M 3.7M 24.1k 7.3M 56.0k 0.7k 0.3M 0.4M 0.2M
sv 18,008 105.6M 15.6M3.0M 5.4M 0.8M 39.3k 6.2M 4.5M 2.1M 5.1M 8.9M 7.1M 3.1M 0.7k 1.9k 5.6M 5.5M 4.4M 4.8M 5.3M 1.2k 0.5M 3.0M 0.1M 8.4k 0.3M 98.7k 0.6M 1.0M 2.4M 6.7M 5.7M 6.3M 6.6M 6.4M 1.6M 14.1k 1.4M 4.7M 0.5M 4.3M 25.4k 4.6M 42.7k 0.8k 0.3M 0.9k 0.4M 0.2M
th 58 0.3M 54.7k26.5k 25.9k 1.9k 1.8k 28.0k 21.1k 8.6k 27.0k 31.8k 28.2k 23.2k 21.9k 26.0k 29.0k 22.9k 28.6k 2.1k 11.9k 2.6k 2.2k 1.3k 9.6k 17.5k 13.3k 27.3k 20.0k 28.1k 28.7k 26.5k 13.1k 4.2k 26.9k 10.5k 24.7k 25.7k 28.2k 0.9k 6.8k 6.0k
tr 53,465 257.9M 45.7M5.6M 12.1M 1.4M 54.0k 12.9M 5.0M 3.2M 11.0M 21.0M 15.3M 5.0M 0.6k 5.3k 7.7M 10.5M 8.8M 9.4M 11.4M 4.8k 0.5M 6.4M 0.1M 8.9k 0.4M 0.1M 0.8M 1.5M 2.0M 12.2M 11.6M 12.5M 15.2M 15.1M 3.5M 21.6k 2.5M 8.2M 0.7M 8.9M 5.6M 28.6k 64.7k 1.9k 0.4M 0.9k 0.5M 0.3M
uk 268 1.2M 0.2M37.8k 60.2k 6.5k 0.8k 86.5k 45.1k 29.8k 64.9k 0.1M 86.4k 52.7k 0.4k 52.8k 64.0k 52.7k 53.1k 67.9k 1.8k 41.6k 2.4k 2.8k 7.1k 6.7k 28.5k 31.6k 59.2k 72.6k 71.4k 81.7k 80.8k 59.4k 1.1k 19.6k 63.2k 7.8k 58.6k 44.0k 0.9k 67.7k 6.8k 6.8k
ur 3 24.9k 2.3k2.2k 1.8k 1.8k 0.7k 1.2k 1.9k 2.0k 1.9k 0.8k 1.9k 1.8k 0.7k 1.9k 1.9k 1.1k 1.8k 0.8k 1.2k 1.9k 1.9k 1.8k 2.0k 1.9k 0.7k 1.1k 1.9k 0.8k 0.7k 0.8k 1.9k 0.7k
vi 632 5.7M 0.7M0.7k 0.3M 0.4M 71.2k 5.6k 0.4M 0.3M 0.1M 0.4M 0.5M 0.4M 0.3M 0.5k 0.4M 0.4M 0.3M 0.4M 0.4M 42.7k 0.3M 25.6k 3.1k 47.9k 23.1k 0.1M 0.3M 0.2M 0.4M 0.4M 0.4M 0.4M 0.4M 0.2M 4.0k 0.1M 0.4M 0.1M 0.3M 0.3M 6.8k 0.4M 6.9k 0.7k 81.5k 41.6k
zh 1 8.1k 1.0k0.8k 0.9k 0.9k 0.9k 0.8k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k 0.9k
zh_cn 1,368 9.1M 1.1M0.4M 0.5M 66.5k 3.6k 0.5M 0.4M 0.2M 0.5M 0.7M 0.6M 0.4M 0.3k 0.4M 0.5M 0.5M 0.4M 0.4M 25.8k 0.3M 20.4k 2.7k 38.0k 16.6k 75.5k 0.2M 0.2M 0.5M 0.4M 0.5M 0.6M 0.5M 0.2M 5.2k 0.2M 0.4M 99.3k 0.4M 0.4M 6.1k 0.5M 6.9k 82.8k 1.0k 0.2M
zh_tw 727 4.2M 0.6M0.2M 0.3M 38.4k 4.4k 0.3M 0.2M 84.5k 0.3M 0.4M 0.3M 0.2M 0.5k 0.4k 0.3M 0.3M 0.3M 0.3M 0.3M 25.2k 0.1M 16.2k 1.0k 19.8k 5.0k 41.5k 0.1M 0.1M 0.3M 0.3M 0.3M 0.3M 0.3M 0.1M 2.7k 0.1M 0.3M 53.9k 0.2M 0.2M 0.3M 42.1k 0.2M

Note that TMX files only contain unique translation units and, therefore, the number of aligned units is smaller than for the distributions in Moses and XML format. Moses downloads include all non-empty alignment units including duplicates. Token counts for each language also include duplicate sentences and documents.