Categories
程式開發

2019年度Python 类库Top 10


这是第五届Python 类库Top 10年度榜。在这里,你会发现一些隐藏在开源世界中的珍宝,它们能让你开始着手新的项目,或者让你现有的项目更加有趣。从这份榜单里,你既能找到机器学习的库,也能找到非机器学习的库,所以它在各方面均有所涉及。

1. HTTPX

如果你是一名经常与api交互的Python死忠粉,可能会很熟悉requests 类库。然而,异步范式在高性能现代应用程序中越来越常见,如果你使用的正是异步范式,requests 可不会给你带来什么好处。

为了解决这个问题, Tom Christie和他的合作者为我们带来了HTTPX,它是用于下个十年的新一代异步HTTP客户端。

HTTPX 延续了requests的用法,为你提供了标准特性以及HTTP/2和HTTP/1支持。除此之外,还包括使用ASGI协议直接调用Python Web应用程序以及完全类型注解等其他特性。

你需要同时发出大量请求?那么HTTPX就是新的首选。

注意:目前仍在alpha版本中考虑HTTPX,现只作为异步客户端开发。在未来,将再重新引入同步客户端。

2. Starlette

Starlette是一个轻量级的ASGI框架/工具包,具有包括WebSocket和GraphQL支持,进程内后台任务和真正的高性能等一系列特性。除此之外,还有100%类型注解的代码库和无依赖。可以把它看作是一版非常轻量的、现代的和异步的Flask

你还可以灵活地选用它,决定是将其作为一个完整的web框架来使用,还是仅仅作为一个ASGI工具包来使用。

它运行在一个ASGI服务器上,比如uvicorn,它去年也排进了Top 10。如果你正在考虑开发一款新的Web应用程序,那么你一定要给Starlette一个崭露头角的机会。

3. FastAPI

Starlette很棒,但它非常简约,且非常开放。这给了你很大的自由,但有时,你只是需要一个把事情做得又对又快的框架。

Sebastian Ramirez的FastAPI正是这样的一款框架。无论在哪层意义上讲,它都可称得上

这款新框架基于的是OpenAPI标准,用于构建具有Python高性能特性和自动交互文档的API。它默认支持Swagger UI和ReDoc,使你能够直接从浏览器调用和测试你的API,从而加快开发时间。使用此框架构建API既快速又简单。

这个库还利用了现代Python的最佳实践之一:类型提示。FastAPI在很多方面都使用类型提示,但是最酷的特性之一是由Pydantic提供支持的自动数据校验和转换。

FastAPI是基于Starlette构建的,其性能与NodeJS和Go相当,而且它还支持原生WebSocket和GraphQL。

最后,但并非最不重要的是,它拥有一些为开源库编写的最好的技术文档。说真的,强烈建议看一看。

4. Immutables

MagicStack的工作人员回归,他们使用了简单优雅的不可变映射类型(“冻结的字典”)。

谁能从中受益呢?其底层数据结构是一个哈希数组映射的字典树(HAMT),在Haskell等函数式编程语言中使用。最有趣的是,对于set()和get()操作,它们都提供了O(log N)性能,对于相对较小的映射来说其实就是O(1)。

如果你的应用程序使用了更大的字典,可以使用bump 提高性能,这个酷酷的新库可以值得关注。

5. Pyodide

Pyodide是一个真正能让你大吃一惊的项目。它使用WebAssembly将Python科学栈引入浏览器,将科学计算提升到了一个全新的水平。

想要用NumPy处理一些数字吗?使用Pandas处理一些较大的数据流?使用NumPy标制结果?幸有Pyodide,现在你可以在浏览器中轻松实现所有这些功能,甚至更多。

除此之外,更好的消息是:它的packages目录列出了超过35个当前可用的包。不夸张地说,天空是其唯一限制。

6. Modin

Modin的座右铭是通过改变一行代码来扩展你的Pandas 工作流程,真的,就这么简单。只需安装Modin,改变你的导入语句,在当下拥有多核处理器的笔记本电脑上就能获得高达4倍的速度优势。

它是怎么做到的?现在来揭晓这个秘密。Modin实现了自己的modin.pandas.DataFrame对象,它是一个轻量级并行DataFrame。这个对象的使用是透明的,因为它与Pandas 是api兼容的,并且它是在后台运行的,它将使用RayDask之类的计算引擎来分发数据和计算。

有时候,只需要对你的代码做一些小的修改就能使速度获得极大的提升,Modin就是个很好的证明。

7. Streamlit

在每个重大的机器学习项目中,都有一个你最终需要与模型和数据进行手动交互的时间点。与花费数小时和数千行代码开发应用程序不同,Streamlit使你能够快速构建应用程序来共享你的模型和分析。现在,创建一个与你的数据和模型的输出进行交互和可视化的UI简直易如反掌。

Streamlit提供了一种从Python脚本跳到生产级应用程序的快速方法,只需在代码中添加几行即可。

Streamlit能与各种数据科学相关的工具一起工作,TensorFlowKerasPyTorchPandas,凡是你能想到的,它都可以。

8. Transformers

如果你正在从事任何与机器学习相关的工作,那么你可能已经听说了在过去一年中围绕自然语言处理(NLP)方面的重要进展。

许多新的和高性能的模型,如 BERTXLNet 或者roBERTa,已经被开发出来,通过各种NLP任务(如文本分类、机器翻译、命名实体识别等)来显著提高技术水平。

对于实践者来说,重要的是拥有能够使用这些模型来支撑生产应用程序的工具,这些用起来并不复杂。对于研究人员来说,重要的是拥有能够调整内部机制的类库,这样就可以更轻巧地开发和试验新的模型,而不必浪费太多时间编写样板代码。

Hugging Face 有一帮杰出的人,他们为我们带来了 transformers,它是一个类库,其中包括打包、预先训练,并已经为使用最现代的NLP模型的实现做好了准备。TensorFlow 2.0和PyTorch之间的互操作性帮助该类库迅速成为行业标准,支撑着研究和生产应用程序。它们的发展速度也非常快,随着研究人员的开发,经常有新的模型引入到这个类库中。

蛋糕上的樱桃:Hugging Face 团队开发了 DistilBERT,它是一个体积更小、速度更快、价格更低、重量更轻的纯净版BERT。

你还在犹豫要不要使用Hugging Face / Transformer以切换到现代的NLP?那么择日不如撞日,今天就是你的幸运日,看看他们伟大的在线演示,可不要吝惜你的大姆指哟。

9. Detectron2

Facebook的人工智能研究团队(FAIR)一直在推动计算机视觉(CV)的极限,他们开发了新的模型,用于像对象检测、姿式预估、语义/实例划分,以及最近的全景分割等任务。

解决这些问题的可能性就像几年前的科幻小说一样。我们对FAIR抱有最好的期望,这一次他们设法再次震撼全场。

Detectron2是备受期待的Detectron续作,它是用PyTorch从头开始构建的,装满了最先进的计算机视觉算法。

这样的类库尤其难于进行工程设计,因为它们必须支持不同类型的用例。就像Hugging Face的Transformers一样,费尔团队也很好地完成了Detectron2的设计,它采用了一种非常灵活和模块化的方式,使得它非常适合CV的研究应用。同时,它的使用极其简单,对于那些只想快速获得结果而不想干预内部机制的人来说非常理想。是的,你可以使用Detectron2,让你的软件只用几行Python代码就能“理解”图像。

时间将会告诉我们,Detectron2能否成功地营造一个充满活力的社区,而到目前为止,情况看来很有希望。它很可能成为CV应用程序的“首选”解决方案,因为在CV应用程序中,新的、更快、更好的模型是由研究人员创建的。如果你正在做任何类型的CV工作,一定要密切保持关注!

10. Metaflow

前方出现一个新生儿,一幅新面孔勉强挤进了2019年的名单!但是赞成别不把它当回事:尽管它才是在几周前刚刚发布的,但已经经过了Netflix的内部测试,历经两年时间的改进,他们才决定开放源代码。

Metaflow是一个Python类库,用于帮助数据科学家和工程师构建用于现实世界的真实项目。它主要专注于减轻非技术数据科学家的技术负担,例如计算资源、并行执行、体系结构设计和版本控制等。Netflix与AWS的合作,使你能够轻松定义复杂的数据流,同时对分布式计算提供开箱即用的支持。

我们已经在为Tryolabs内部的一些关键项目做了Metaflow评估。如果你有兴趣更多地了解这款工具,请查看Netflix的公开博客

总结

这一年又过去了,它为开源世界留下了非凡的贡献,这些贡献在未来几年仍将具有重要意义。你可以查看我们之前榜单:看看2015年2016年2017年2018年来类库的演变。

如果我们漏掉了你最喜欢的Python类库,请在下面发表评论。我们很想听听你的意见。

作者介绍

Fabián Torres,全栈开发人员。电气工程学士学位;Elias Masquil,全栈开发人员;Alan Descoins,首席技术官和合作伙伴,计算机工程学士学位;German Hoffman,全栈开发和研究工程师,计算机工程学士学位。

原文链接:Top 10 Python libraries of 2019