Polars简介

news/2024/10/7 20:19:47 标签: python

1. Polars基础教程

关键概念

  • Expression API:用于快速灵活的分析。
  • 并行计算:易于实现。
  • 惰性模式查询优化:自动进行。
  • 流处理:处理超过内存大小的数据集。
    导入Polars
python">import polars as pl

配置选项设置

python">pl.Config.settblrows(6)  # 设置打印DataFrame的行数

加载数据
Polars支持多种数据格式,如CSV、Parquet、Arrow、JSON、Excel和数据库连接。

python">csvfile = "../data/titanic.csv"
df = pl.readcsv(csvfile)
df.head(3)

2. Polars库介绍

Polars是一个高性能的DataFrame库,用Rust编写,提供了以下特性:

  • 高性能:通过Rust编写和矢量化列式处理实现。
  • 数据读写支持:支持常见数据文件和云存储。
  • 并行处理:自动利用所有可用CPU核心。
  • GPU支持:可选在NVIDIA GPUs上运行查询。
    安装命令
pip3 install 'polars[all]'

3. 数据读写操作

DataFrame示例

python">df = pl.DataFrame({
    "idx": [1, 2, 3, 4],
    "name": ["张三", "李四", "王五", "赵六"],
    "birthday": [
        datetime(2009, 5, 1),
        datetime(2005, 10, 15),
        datetime(2000, 12, 31),
        datetime(1995, 6, 15),
    ],
    "gender": ["男", "男", "男", "女"],
    "bio": ["好好学习,天天向上", "泰难了", "学习有毛用", "躺平ing"],
})

存储和读取数据

python">df.writecsv("data.csv")
df.writeexcel("data.xlsx")
df.writejson("data.json")
df.writeparquet("data.parquet")
df_csv = pl.readcsv("data.csv")

4. Expressions

Polars的核心部分是Expressions,提供了以下模块结构:

  • select
  • filter
  • groupby
  • withcolumns
    选择列
python">print(df.select(pl.col("")))
print(df.select(pl.all()))
print(df.select(pl.col('float','date')))

http://www.niftyadmin.cn/n/5693322.html

相关文章

mongodb光速上手

开始 mongodb是一种nosql数据库,即非关系型数据库。 安装好后将bin目录添加到环境变量。 安装studio-3t,这是可视化编辑器。 启动 mongo --host localhost --port 27017 指令 查看所有库 show dbs 使用或创建并使用库 use school use 数据库名 向…

智慧学生宿舍管理平台|学生宿舍管理平台系统|基于Springboot+VUE的智慧学生宿舍管理平台系统设计与实现(源码+数据库+文档)

智慧学生宿舍管理平台 目录 基于SpringbootVUE的智慧学生宿舍管理平台系统设计与实现 一、前言 二、系统功能设计 三、系统实现 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源码获取: 博主介绍:✌️大厂码农|毕…

开源跨平台三维模型轻量化软件osgGISPlugins-1、简介

下一篇文章:开源跨平台三维模型轻量化软件osgGISPlugins-2、如何编译 1、仓库地址 github地址:https://github.com/newpeople123/osgGISPlugins gitee地址:https://gitee.com/wtyhz/osg-gis-plugins 2、项目简介 osg引擎的gis插件&#x…

AAA Mysql与redis的主从复制原理

一 :Mysql主从复制 重要的两个日志文件:bin log 和 relay log bin log:二进制日志(binnary log)以事件形式记录了对MySQL数据库执行更改的所有操作。 relay log:用来保存从节点I/O线程接受的bin log日志…

如何使用ssm实现基于Java的校园二手物品交易平台的设计与实现+vue

TOC ssm789基于Java的校园二手物品交易平台的设计与实现vue 绪论 1.1 研究背景 在这个推荐个性化的时代,采用新技术开发一个校园二手物品交易平台来分享和展示内容是一个永恒不变的需求。本次设计的校园二手物品交易平台有管理员,商家,用…

EmEditor传奇脚本编辑器

主程序:EmEditor.exe 目前已有功能 可以自己指定一个快捷键 实现以下功能(默认快捷键为:F1) 以下全功能 都是鼠标所在行 按快捷键 (默认快捷键:F1) 1.在Merchant.txt中 一键打开NPC 没有…

2020大厂web前端面试常见问题总结

本篇收录了一些面试中经常会遇到的经典面试题以及自己面试过程中遇到的一些问题。通过对本篇知识的整理以及经验的总结,希望能帮到更多的前端面试者。 1.web前端项目的结构是怎样的?文件有哪些命名规范? 项目结构规范 页面文件:以…

深度学习:Anaconda的作用

Anaconda介绍 Anaconda 是一种流行的 Python 发行版本,专为科学计算、数据分析、机器学习等领域设计。它由以下几个主要组件组成,每个组件都发挥着重要作用: 组件: Conda: 功能:Conda 是一个包管理器和环…