Categories
程式開發

txtai:基于 Transformer 的人工智能搜索引擎


自然语言处理领域正在迅速发展,出现了许多新的进展。大规模的通用语言模型是一种令人兴奋的新能力,使我们能够在有限的计算和人力的情况下快速添加惊人的功能。创新仍在继续,新的模型和进步似乎每周都有。本文将对 txtai 进行介绍,这是一个基于人工智能的搜索引擎,可以在任何应用程序中实现基于自然语言理解(Natural Language Understanding,NLU)的搜索。

txtai 介绍

txtai 在文本部分上建立了一个基于人工智能的索引。txtai 支持建立文本索引来执行相似度搜索,并创建基于抽取(extractive)的问答系统。tatai 是开源的,可以在 GitHub 上获得:http://github.com/neuml/txtai

txtai 是构建在以下技术栈上的:

txtai 背后的概念已用于支持下列自然语言处理应用程序:

  • cord19q:COVID-19 文献分析
  • paperai:用于医学/科学论文的人工智能文献发现和评论引擎
  • neuspo:一个以事实为导向的实时体育赛事和新闻网站
  • codequestion:直接从终端询问编码问题

原文链接:【https://www.infoq.cn/article/HsxElG4ipxXRNKOZvYUF】。未经作者许可,禁止转载。