“秦淮佳丽地，城阙望中迷。柳暗青丝发，花香碧玉衣。歌楼留夜色，画阁敛春晖。细雨轻舟去，双鱼梦泽飞。”这是近日刚刚上线的“荀子”古籍大语言模型以“金陵”为题，生成的一首古诗。
12月11日，南京农业大学发布该校王东波教授研究团队联合古联（北京）数字传媒科技有限公司，开发出国内首个专门应用于古籍处理与研究的开源智能工具——“荀子”古籍大语言模型（以下简称“荀子”）。“荀子”依托国家社科基金重大项目“中国古代典籍跨语言知识库构建及应用研究”，在灌注了40亿字的古代汉语、现代汉语的大型混合语料数据的基础上生成。
“数据是大模型生成的基础。”王东波介绍，在“荀子”的研发过程中，研究团队在人工智能通用模型的基础上，灌注了繁简体《四库全书》等20亿字的古代汉语语料和文化领域的20亿字的现代汉语语料，实现古籍智能标引、古籍信息抽取、诗歌生成、古籍高质量翻译、阅读理解等功能。
“对于汉语言研究者来说，他们还可以利用‘荀子’完成古籍词法分析、实体识别、关系抽取、文本分类与匹配、文本摘要等工作。”王东波举例，如果要研究《史记·陈涉世家》的人物关系，就可以用大模型识别这篇文章中的人物名称和关系名词，再用知识图谱的方式呈现人物关系图谱，从而提高检索、查询、研究的效率。
王东波介绍，此次发布的基座模型，还可以让用户根据自己的需求，使用本地的训练语料微调“荀子”基座模型，开展有针对性的研究。
尽管目前已经有200多个通用模型在各领域得到应用，但此前古籍领域仍缺乏专业的大语言模型。
“荀子”是怎么做到化繁为简、通读古今的？“核心是‘算力充足’并且‘饱读诗书’！”王东波介绍，“荀子”的顺利问世离不开南京农业大学提供的高性能算力基础设施支持，以及研究团队长期积累的精加工语料库。
“模型的构建受算力、场景应用等多方影响，但精准度较高的优质数据，是最为关键的。”王东波表示，研究团队自2013年起，一直专注于人工精标注数据的工作。
“比如要训练大模型自动标注《岳阳楼记》中的形容词，就首先需要人工标注形容词，在积累了大量的人工标注后，再让机器学习。”王东波说，这项“坐冷板凳”的基础标注工作，他们一做就是10年。
“我们期待能将古籍的智能化研究与跨学科的人才培养相结合，让学生既有前瞻的科研视野，又能积累较为深厚的人文底蕴。”王东波表示，研究团队希望能让更多受众接触古籍、品读古籍、传播古籍，真正地唤活“故纸堆”，共同推动中华优秀传统文化创造性转化和创新性发展，赓续传承中华文脉。
王东波介绍，联合研发“荀子”的古联（北京）数字传媒科技有限公司，将主要致力于未来的场景应用和推广，“荀子”除了能让大众更顺畅地阅读古籍内容，推动古籍整理、古籍数字化、古籍活化利用与传播之外，未来或可应用于AI写作、AI教学、数字文娱等领域。
“秦淮佳丽地，城阙望中迷。柳暗青丝发，花香碧玉衣。歌楼留夜色，画阁敛春晖。细雨轻舟去，双鱼梦泽飞。”这是近日刚刚上线的“荀子”古籍大语言模型以“金陵”为题，生成的一首古诗。
12月11日，南京农业大学发布该校王东波教授研究团队联合古联（北京）数字传媒科技有限公司，开发出国内首个专门应用于古籍处理与研究的开源智能工具——“荀子”古籍大语言模型（以下简称“荀子”）。“荀子”依托国家社科基金重大项目“中国古代典籍跨语言知识库构建及应用研究”，在灌注了40亿字的古代汉语、现代汉语的大型混合语料数据的基础上生成。
“数据是大模型生成的基础。”王东波介绍，在“荀子”的研发过程中，研究团队在人工智能通用模型的基础上，灌注了繁简体《四库全书》等20亿字的古代汉语语料和文化领域的20亿字的现代汉语语料，实现古籍智能标引、古籍信息抽取、诗歌生成、古籍高质量翻译、阅读理解等功能。
“对于汉语言研究者来说，他们还可以利用‘荀子’完成古籍词法分析、实体识别、关系抽取、文本分类与匹配、文本摘要等工作。”王东波举例，如果要研究《史记·陈涉世家》的人物关系，就可以用大模型识别这篇文章中的人物名称和关系名词，再用知识图谱的方式呈现人物关系图谱，从而提高检索、查询、研究的效率。
王东波介绍，此次发布的基座模型，还可以让用户根据自己的需求，使用本地的训练语料微调“荀子”基座模型，开展有针对性的研究。
尽管目前已经有200多个通用模型在各领域得到应用，但此前古籍领域仍缺乏专业的大语言模型。
“荀子”是怎么做到化繁为简、通读古今的？“核心是‘算力充足’并且‘饱读诗书’！”王东波介绍，“荀子”的顺利问世离不开南京农业大学提供的高性能算力基础设施支持，以及研究团队长期积累的精加工语料库。
“模型的构建受算力、场景应用等多方影响，但精准度较高的优质数据，是最为关键的。”王东波表示，研究团队自2013年起，一直专注于人工精标注数据的工作。
“比如要训练大模型自动标注《岳阳楼记》中的形容词，就首先需要人工标注形容词，在积累了大量的人工标注后，再让机器学习。”王东波说，这项“坐冷板凳”的基础标注工作，他们一做就是10年。
“我们期待能将古籍的智能化研究与跨学科的人才培养相结合，让学生既有前瞻的科研视野，又能积累较为深厚的人文底蕴。”王东波表示，研究团队希望能让更多受众接触古籍、品读古籍、传播古籍，真正地唤活“故纸堆”，共同推动中华优秀传统文化创造性转化和创新性发展，赓续传承中华文脉。
王东波介绍，联合研发“荀子”的古联（北京）数字传媒科技有限公司，将主要致力于未来的场景应用和推广，“荀子”除了能让大众更顺畅地阅读古籍内容，推动古籍整理、古籍数字化、古籍活化利用与传播之外，未来或可应用于AI写作、AI教学、数字文娱等领域。
本文链接：http://www.gihot.com/news-2-246-0.html“古籍版ChatGPT”——荀子古籍大语言模型面世
声明：本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
点击右上角
微信好友
朋友圈
点击浏览器下方“
”分享微信好友Safari浏览器请点击“
”按钮
点击右上角
QQ
点击浏览器下方“”分享QQ好友Safari浏览器请点击“”按钮
