分享好友 最新动态首页 最新动态分类 切换频道
语言研究必备的37个常用语料库
2024-11-07 22:24

本文来源:“语言科学”公众号

语言研究必备的37个常用语料库

众所周知,语言、翻译学习当然离不开大量的资料查阅,语料库一定是必不可少的。今天就为大家提供37个常用的语料库(点击收藏,一键get),欢迎留言或私信小编补充。

--通用单语语料库--

01. 国家语委现代汉语通用平衡语料库
该语料库是由国家语言文字工作委员会主持,面向语言文字信息处理、语言文字规范和标准的制定、语言文字的学术研究、语文教育以及语言文字的社会应用,总体规模达1 亿字,语料时间跨度为1919-2002年,收录了人文与社会科学、自然科学及综合三个大类约40个小类的语料。其中标注语料库为国家语委现代汉语通用平衡语料库全库的子集,该子集是按照预先设计的选材原则进行平衡抽样,对语料进行分词和词类标注,并经过三次人工校对,最后得到约5000万字符的标注语料库。
http://www.aihanyu.org/cncorpus/index.aspx
02. 北京语言大学语料库中心BCC语料库
BCC语料库是以汉语为主,兼有英语、西班牙语、法语、德语、土耳其语等语言的语料库,其中汉语语料规模约150亿字,涵盖了报刊、文学、微博、科技、综合和古汉语等多领域语料。BCC语料库包括了生语料、分词语料、词性标注语料和句法树,目前已对现代汉语、英语、法语的语料进行词性标注。
http://bcc.blcu.edu.cn
03. 清华TH语料库
清华TH语料库于1994年6月建成,其总库根据对语料加工深度的不同采用分级管理的原则,分成了生语料和熟语料两大类,其中0级生语料分库涵盖了一般书、报纸、论文、杂志、工具书等五类子库语料素材。经过近年来不断的升级和更新,已更名为THCHS-30语料库。
http://www.openslr.org/18
04. 北京大学CCL语料库
CCL语料库中包含现代汉语语料、古代汉语语料两类单语语料,涉及的文献时间从公元前11世纪到当代。其中现代汉语语料约6 亿字符,涵盖了文学、戏剧、报刊、翻译作品、网络语料、应用文、电视电影、学术文献、史传、相声小品、口语等多个类型。CCL语料库中古代汉语语料约2亿字符,收录了从周代到民国的语料及大藏经、二十五史、历代笔记、十三经注疏、全唐诗、诸子百家、全元曲、全宋词、道藏、辞书、蒙学读物等的杂类语料。除了两大单语语料库的扩容外,近年来CCL语料库还融入了一些专题语料库,例如:早期北京话材料、留学生汉语作文语料、汉语构式语料库、中文学术文献语料库、海外华文网络语料等等。
http://ccl.pku.edu.cn:8080/ccl_corpus/index/jsp?=xiandai
05. 人民日报标注语料库
该语料库是我国第一个大型的现代汉语标注语料库,以《人民日报》1998年的纯文本语料为基础,完成词语切分、词性标注、专有名词标注、语素子类标注、动词和形容词特殊用法标注、短语型标注等加工工作,现已扩充至3500万字的规模。后来北京大学计算语言学研究所在此基础上完成了另外100万字语料的词语切分、词性标注和汉语拼音标注的加工任务,还利用所研制的《现代汉语语义词典》、参照《现代汉语词典》,根据语料实际使用情况对词义描写进行调整,研发了一个大规模、高质量的现代汉语词义标注语料库(Chinese Word Sense Tagging Corpus,STC)。
为了弥补北京大学人民日报语料库用于处理当前文本时的不足,2019年开始南京农业大学人文与社会计算研究中心以2015年至2018年《人民日报》发表的文章为对象,构建了新时代人民日报语料库(简称NEPD, http://corpus.njau.edu.cn/),目前该语料库涵盖了《人民日报》2015 年1-5 月、2016年1月、2017年1月、2018 年1月共9个月的分词语料,并且后续将不断补充最新语料 。
06. 清华汉语树库
(TshinghuaChineseTreebank,TCT )
该语料库从包含文学、学术、新闻、应用四大体裁的200万汉字平衡语料库中提取了100万汉字规模的语料文本,经过自动断句、句法分析后再进行人工校对,形成了有完整句法结构树的汉语句法树库语料。
--汉英双语平行语料库--

07. 中国科学院汉英平行语料库
中国科学院汉英平行语料库是在对中英文篇章对齐的双语文本进行段落对齐、句子对齐加工后建立的一个句子级对齐的双语语言信息和知识库,该语料库借助互联网等其他媒体搜集中英文篇章级对齐的双语文本,面向多领域多体裁,采用基于双语辞典的句子对齐方法进行了文本对齐,并对双语文本句子对齐结果实现自动评价。
08. 南京大学双语词典研究中心英汉双语平行语料库(NJU_BDRCBC)
该语料库的总体规模共约200万对英汉平行句对,英语和汉语词例数高达2亿词次,其素材一方面来源于南京大学双语词典中心拥有自主知识产权的双语辞书标准数据以及英汉双语对照文献,另一方面也面向网络获取了大量的英汉双语平行对语料。南京大学双语词典研究中心还跟商务印书馆联合开发了CONULEXID(The Commercial Press and Nanjing University Lexical Database) 英汉语言资料库,该语料库系统于1994年正式开始创建,并于1997年通过验收。
09. 清华大学中英平行语料库
清华大学中英平行语料库(http://thumt.thunlp.org/)由清华大学自然语言处理与社会人文计算实验室在国家“863 计划” 项目“ 互联网语言翻译系统研制” 的支持下,利用自身研发的互联网平行网页获取软件和双语句子自动对齐软件获取并处理得到的,共包含285万中英平行句对。
--其他汉外平行语料库--

10. 北京大学计算语言研究所双语平行语料库
该语料库为大型汉英、汉日双语语料库,包含汉英句子级对齐语料20万句对、汉日句子级对齐语料2万句对、汉英词汇级对齐语料1万对,旨在为机器翻译等应用系统的研发提供基础资源和标准的评测语料 。
11. 北京外国语大学双语平行语料库
由王克非负责构建的汉英和汉日两个平行语料库目前仍在建设中。该语料库包括2000万字的日汉对译文本语料库和3000万字词的通用型汉英平行语料库两个部分。目前2000万字的日汉对译文本语料库的平行对应语料分为文学与非文学、汉译日和日译汉存放,做到段落级对齐,运用所研制的检索工具可对汉日语料做各种词语、短语、句型和搭配上的检索。通用型汉英平行语料库分为,“百科语料库”“翻译文本库”“双语语句库”以及“专科语料库”四个子库,目前3000万字词语料已基本做到句级对齐,其中2000万字词语料已完成最终校对、标注、双语链接。
12. 南京农业大学典籍平行语料库
基于十三经、《战国策》、前四史等典籍及其所对应的白话文和英文翻译,南京农业大学王东波结合深度学习相应模型设计了句对齐的算法,实现了古文句子与白话文和英文的对齐,并对古文、白话文和英文进行了分词、词性和实体标注,形成了独具特色的典籍平行语料库 。
--其他特色语料库--

13. 汉语中介语语料库
汉语中介语语料库由北京语言大学( 原北京语言学院)于1992年开始建设。该语料库立足于汉语教学已收录1635位外国学生共5774篇成篇成段的汉语作文或练习材料,总字数约353万,其中1731 篇约104万字的语料经过断句、分词和词性标注等加工处理。目前该全球汉语中介语料库仍处于努力建设过程中,北京语言大学仍然努力于建设全球汉语中介语语料库,其规模预计达5000万字,包括笔语语料、口语语料和多模态子库。笔语语料规模预计达4500万字,其中2000万字将加工成为熟语料;口语语料450小时,约合400万字;多模态语料110小时,约合100万字。
http://qqk.blcu.edu.cn/#/login
14. HSK动态作文语料库
该语料库收录了1992-2005年部分母语非汉语的外国人参加高等汉语水平考试(HSK高等) 的作文考试的答卷语料,2006年12月上线语料库1.0版本,现已上线语料库2.0版本,语料总数达11569篇,共计424万字。除此之外,北京语言大学还建立了首都外国留学生汉语文本语料库、汉语学习者口语语料库等多种类型的汉语语料库。北京语言大学多个语料库的问世及相关的研究成果激励了更多学者和单位投入到教学导向的语料库的建设中,已知语料库有:中山大学建立的留学生中介语语料库、汉语连续性中介语料库、广东外语外贸大学与兰卡斯特大学联合建立的Guangwai Lancaster汉语学习者语料库等。
http://hsk.blcu.edu.cn/Login
15. 中国传媒大学有声媒体文本语料库
该语料库由中国传媒大学国家语言资源检测与研究有声媒体中心开发,2003年开始建设,2005年上线,其后不断扩大语料规模, 并于2016年进行了第三次改版。该语料库包括2008-2013年的3万多个广播、电视节目的转写文本,总字符数达到2.4 亿个,并对所有文本进行了自动分词和词性标注。
http://ling.cuc.edu.cn/Raw-Pub/

--翻译常用的22个语料库--

16
中国特色话语对外翻译标准化术语库
http://210.72.20.108/index/index.jsp

中国特色话语对外翻译标准化术语库是中国外文局、中国翻译研究院主持建设的首个国家级多语种权威专业术语库,是服务国家话语体系建设和中国文化国际交流的基础性工程。项目团队与中国译协、外文社、南开大学、上海交通大学、上海师范大学、华东理工大学、兰州城市学院等机构开展合作,以习近平新时代中国特色社会主义思想术语和中国特色文化术语为主要内容。该术语库平台以语种的多样性、内容的权威性为突出特色,提供中文与英、法、俄、德、意、日、韩、西、阿等多种语言的术语对译查询服务。
以“新兴市场国家为例,在搜索框搜索后,即显示中文与各语种间的翻译,点击对应的中文术语,即可查看译文来源和例句。

17
中国思想文化术语库
https://www.chinesethought.cn/phone/

中国思想文化术语是由国务院批准设立的“中华思想文化术语传播工程”(以下简称“工程”)成果,该工程聘请权威专家成立顾问组、专家委员会、学术委员会,制定中华思想文化术语遴选、释义、翻译规则并开展相关工作,同时特邀知名汉学家参与英译文审稿工作。

18
中国核心词汇
https://www.cnkeywords.net/index
中国核心语汇是一部多语种网络百科全书,海量收录具备中国特色的热点词条,数百位专家学者潜心解读,多语种权威翻译,致力于让全球网友与语言学习者正确解读中国文化。

19
联合国术语库
https://unterm.un.org/UNTERM/portal/welcome

联合国多语言术语库(UNTERM)是联合国内部官方多语种术语库,收集的词汇主要源于联合国大会、安全理事会、经济及社会理事会、托管理事会等主要机构日常文件。因此它收集的术语主要和各种全球性议题相关,比如气候变化、民主、难民、反恐、可持续发展目标、非殖民化等主题。该术语库最大亮点是内容独一性和权威性,提供联合国6种工作语言(英、法、俄、汉、阿、西)的术语对应查询服务。用户不仅能查看某个词汇的词义,还能看到这个术语在联合国内部不同机构出现的频率、在不同主题内容中出现的频率等等。想在外交、公共政策、国际关系等这些领域工作的朋友,这个术语库一定会很用帮助。此外备考CATTI考试的同学也可以经常去看看,因为全球性议题的文章经常出现在CATTI考试里。
20
术语在线
http://termonline.cn/index.htm

术语在线(termonline.cn)由全国科学技术名词审定委员会主办,定位为术语知识服务平台,提供术语检索、术语分享、术语纠错、术语收藏、术语征集等功能本平台聚合了全国名词委会权威发布的审定公布名词数据库、海峡两岸名词数据库和审定预公布数据库累计45万余条规范术语。覆盖基础科学、工程与技术科学、农业科学、医学、人文社会科学、军事科学等各个领域的100余个学科。
21
中国规范术语
http://shuyu.cnki.net/index.aspx
该数据库是中国知网和全国科学技术名词审定委员会的合作项目,根据名词委历年审定公布并出版的数据制作,供读者免费查询。本库旨在帮助专业工作者规范、正确使用本领域的专业术语,提高专业水平。

22
语料库
http://yulk.org/

23
Schlumberger Oilfield Glossary: The Oilfield Glossary
https://www.glossary.oilfield.slb.com/
相当不错的石油专业词典,词条解释言简意赅,缺点是只有英文解释。可用来查证石油相关术语。

24
医学英语在线翻译词典
http://www.letpub.com.cn/index.php?page=med_english
LetPub 是ACCDON(美国)旗下为非英语国家科研学者提供优质SCI论文编辑和各类相关服务的专业品牌。LetPub推出的在线翻译词典汇集了最全面的专业医学英语词汇翻译,SCI论文对照,包括中医常用医学名词、传染病学名词、儿科医学名词、内科学专业名词等。

25
BCC汉语语料库
http://bcc.blcu.edu.cn/
BCC汉语语料库,总字数约 150 亿字,包括:报刊(20 亿)、文学(30 亿)、微博(30 亿)、科技(30 亿)、综合(10 亿)和古汉语(20 亿)等多领域语料,是可以全面反映当今社会语言生活的大规模语料库。

26

美国国家语料库

http://www.anc.org/

2712
英国国家语料库
http://www.natcorp.ox.ac.uk/

28
美国当代英语语料库
https://www.english-corpora.org/coca/

29
Linggle
https://www.linggle.com/

30
Corpus Concordance English
https://lextutor.ca/conc/eng/

31
English Corpora
https://www.english-corpora.org/

32
Michigan Corpus
https://quod.lib.umich.edu/m/micase/

33
WebCorp
http://www.webcorp.org.uk/live/

34
Ludwig
https://ludwig.guru/

35
北京大学中国语言学研究中心
http://ccl.pku.edu.cn:8080/ccl_corpus/

36

北外语料库语言学

http://corpus.bfsu.edu.cn/

37
联合国正式文件系统
https://documents.un.org/prod/ods.nsf/home.xsp

最新文章
谷歌浏览器苹果手机版
谷歌浏览器苹果手机版是针对苹果ios平台而推出的一款移动浏览器,其官方名称又叫做chrome手机浏览器,该软件的性能丝毫不比电脑版差,图片清晰无水印,而且信息很准确,没有其他不相关的内容;新版本更是加入了语音搜索功能、用户无需输入
第49章邪王追妻
  因为通过刚才破妄法眼的透视,王乐根本就没发现进入地下遗址空间的门户。《帝国之雪洗天下》第五卷《血色象牙塔》完。  王乐可不想把这大好时光浪费在等待上面,毕竟这个档口上还远远不是休息的时候。邪王追ࣹ
无需谷歌搜索,教你11个高级搜索技巧!
我是汤老师一个放纵不羁爱自由的人在这里我希望你们不受约束尽情嗨众所周知,谷歌搜索在中国无法使用,鉴于国内的搜索引擎搜索命中率的问题,很多用户在怀念谷歌,也有很多用户仍然在通过各种方式使用谷歌,在大多数情况下用户都是通过基本
101种获取优质链接的方法
1.搞一个XXX的101个方法。这种文件经常被引用,经常会成为权威文件。人们没法不链接向这种表列。2.写一篇“帮你XXX的10个窍门”文章。非常容易得到链接。3.针对某个话题总结一个完整的参考资料列表。4.
什么是思维导图,在线思维导图对SEO有用吗?
在我多年的SEO优化与项目管理经历中,我发现,无论是策划内容框架还是梳理复杂信息,思维导图都是一个不可或缺的工具。它不仅帮助我更清晰地思考,还无形中促进了创意的碰撞。今天,我们就来聊聊什么是思维导图,以及在线思维导图在SEO优化
揭秘 SEO 按天扣费模式的猫腻,你知道多少?
关键词每日扣费一定靠谱吗?近年来,SEO行业形势不断发生变化,各种新的SEO计费方式和营销模式不断涌现。如今,大多数SEO公司都采用每日扣费的模式来吸引客户。事实上,每日抵扣模式还有很多技巧。今天,就带大家了解一下一家公司的日常扣
专业SEO关键词优化:提升网站排名,打造互联网流量利器
为了让您的网站在激烈的市场竞争中占据有利位置,进行精准的关键词优化是必不可少的。如何才能进行高效且专业的SEO关键词优化呢?我们将为您介绍几个关键的优化步骤。关键词研究是SEO优化的第一步,也是最为基础和重要的一步。通过关键词研
Copilot插件:时时陪伴的AI助手 | Obsidian实践
这段时间,有点儿沉迷于AIGC实践不可自拔,也因此懈怠了Obsidian实践。回过头来猛然发觉,其实Obsidian也“上架”了很多与ChatGPT有关的插件。赶紧体验下,看看有没有什么,是一下子就能用起来的。不得不说,自从我安装了Copilot插件,就再
seo优化推广如何 SEO优化推广效果与策略解析
SEO优化推广如何:掌握数字时代的营销利器在当今数字化迅猛发展的时代,企业的在线可见性和品牌影响力变得至关重要SEO(搜索引擎优化)作为一种有效的数字营销策略,不仅能够帮助企业在竞争激烈的市场中脱颖而出,还能带来持续、稳定的流量
宁波SEO服务热线汇总,助力网站快速提升排名抢占市场优势
宁波SEO厂商电话一览,为您提供专业SEO服务,助您快速提升网站排名,抢占市场先机。涵盖多家知名SEO公司,详尽联系方式,让您轻松选择,高效优化网站,助力企业发展。随着互联网的快速发展,企业对网络营销的需求日益增长,SEO(搜索引擎优
相关文章
推荐文章
发表评论
0评