1. 数据生成与采集 1.1 数据来源 主要说明：数据可以从各种来源获取，包括物联网、用户交互、应用日志、社交媒体等。获取的方式根据来源有所不同，例如通过网络爬虫、API调用或日志系统。 工具名称 主要功能 优势 缺点 推荐理由 Scrapy 高效的网络爬虫框架 并行抓取，速度快 需较多编程知识 最流行的网络爬虫工具 Selenium 模拟浏览器抓取数据 支持动态渲染网页抓取 相对缓慢，资源消耗大 适合动态内容网页的抓取 Apache Kafka 高频实时数据采集（物联网、日志等） 高吞吐量，分布式架构 部署复杂，需运维支持 实时数据采集的最佳选择 Logstash 日志采集和事件处理工具 集成ELK Stack，支持多数据源 配置复杂 日志数据和事件采集的标准选择 推荐： Scrapy：用于网络爬虫数据抓取，最常用、成熟的工具。 Apache Kafka：适合大规模、实时数据采集，尤其适合物联网和日志采集场景。 1.2 数据采集方式 主要说明：数据的采集方式分为批处理和实时流处理，批处理适合定期获取大量数据，而流处理用于实时数据的持续获取，如物联网设备或日志系统的实时数据。 工具名称 主要功能 优势 缺点 推荐理由 Apache Nifi 可视化数据流处理和数据集成工具 实时数据处理，配置灵活 学习曲线较高 实时数据流采集和处理的可视化工具 Kafka Streams 实时数据流处理工具，与Kafka集成紧密 支持高吞吐量的数据流处理 需依赖Kafka生态...

从Python数据领域中，大家最常用的可能还是 pandas 和 numpy 两个库。但奈何 pandas 对Excel的读取速度实在是太慢了，所以个人在基础环境下更倾向使用 Calamine 来进行excel的数据处理。 1. 读取速度最高的Excel库 在处理 xlsx、xls、xlsb、xlsm 格式文件时，速度是最重要的因素。以下是针对Excel读取速度最快的库： 库名称 主要功能 优势 缺点 推荐理由 Calamine 基于Rust，支持读取XLSX、XLSB、XLS文件 性能极快，特别适合大文件读取 仅限读取，不支持写入 极大Excel文件的读取利器 Openpyxl 支持读取和写入Excel文件，主要处理XLSX文件 功能全面，兼容性好 性能较一般，较慢 兼容性较好，支持Excel的多种操作 xlrd 专门用于读取XLS文件 读取XLS文件效率高 不再支持XLSX，官方不再更新 适合处理老旧的XLS文件 Pyxlsb 处理Excel Binary格式（XLSB） 处理大文件XLSB速度极快 只支持XLSB格式，不支持XLSX或XLS 如果数据量大且格式为XLSB时极为高效 推荐库： Calamine：适合大规模Excel读取，性能最优。 Openpyxl：兼容性好，功能全面，适合需要兼顾读写的场景。 Pyxlsb：针对XLSB文件的读取非常高效。 2. 读取速度最高的CSV库 对于海量的CSV文件处理，以下是速度最快的CSV读取库推荐： 库名称 主要功能 优势 缺点 推荐理由 Polars 支持多线程处理，极快的CSV读取速度 多线程处理，性能极其优越...

一、常见数据分析库 在数据科学和分析工作中，不同类型的库发挥着重要的作用，它们涵盖了数据处理、清洗、建模、可视化等各个阶段。为了帮助读者更好地选择工具，我们按照功能对这些库进行了分类和推荐。 1. 数据处理与分析库 数据处理库是数据分析的基础，它们帮助我们从原始数据中提取有用的信息。在这些库中，pandas 是最常用的工具，适合绝大多数数据处理任务，而像 polars 和 Vaex 这样的库则专注于处理大规模数据和高性能计算。 库名称 主要功能 优势 推荐 pandas 数据清洗、分析、处理，DataFrame结构 功能丰富，Python社区广泛使用 ✔ polars 快速数据处理，适合大数据集，支持多线程 比pandas快，适合大数据集 ✔ Vaex 处理大规模数据（TB级），数据不会加载到内存 内存使用高效，非常适合大规模数据处理 ✔ 推荐理由： pandas 是数据科学领域的基础工具，功能丰富，广泛应用。 polars 具有极高的性能，特别是在大数据集上的表现尤为出色。 Vaex 是处理超大规模数据的绝佳选择，内存使用效率非常高。 2. 数据库交互与管理库 在实际的应用中，数据往往存储在各种类型的数据库中，因此我们需要库来高效地与数据库进行交互。这里推荐 SQLAlchemy 和 Peewee，它们分别适合大规模和小规模数据库操作。 库名称 主要功能 优势 推荐 SQLAlchemy SQL数据库ORM框架，提供数据库操作接口 支持多种数据库，ORM功能强大 ✔ Peewee 小巧的ORM框架，支持多种数据库 轻量且高效，适合小规模数据库操作 ✔ Psycopg2 PostgreSQL数据库驱动 处理PostgreSQL数据库的Python接口 ✔...

DTI_Tool & Funs V1.0.0.0简介 DTI_Tool 是一个功能强大的 Excel 扩展插件，为用户提供了广泛的自定义函数和工具，用于提升 Excel 中的工作效率和数据处理能力。 DTI_Funs 是 DTI_Tool 的扩展组件，专门为 Excel/WPS 用户提供更多高效的自定义函数（UDFs），帮助简化日常工作流程。 随着版本不断更新，DTI_Funs 会不断增加新的函数和功能。请务必根据文档和最新版本进行使用和更新。 详细介绍与下载页面： 点击查看版本信息 二、Json 函数说明 Json_序列化： 功能：将对象（如数组或字典）序列化为 JSON 字符串。 用法：=Json_序列化(A1:B2)​（假设 A1:B2​ 是一个二维数组）。 输出：返回 JSON 字符串。 Json_反序列化： 功能：将 JSON 字符串反序列化为对象，并返回对象的字符串形式。 用法：=Json_反序列化("{'name':'John', 'age':30}")​。 输出：返回反序列化后的对象的字符串形式。 Json_读取键值： 功能：从 JSON 对象中读取单层或多层嵌套的键值。 用法：=Json_读取键值("{'person':{'name':'John', 'age':30}}", "person.name")​。 输出：返回对应的键值，例如 "John"​。 Json_转换为数组： 功能：将 JSON 数据转换为 Excel 数组，并返回到单元格区域。 用法：=Json_转换为数组("{'name':'John','age':30}")​。...

记录较为常用的自定义函数，更新于2021/11/29 22:22 （临时文章，暂存） 文本函数 Text_Contains | 文本_是否包含 语法 //此函数完全重写于Text.Contains函数，为了函数名称结构相同，方便管理 (text as nullable text, substring as text, optional comparer as nullable function) as nullable logical => Text.Contains(text, substring, comparer) 关于 检测 text 是否包含值 substring 。 如果找到文本，则返回 true。 此函数不支持通配符或正则表达式。 可选参数 comparer 可用于指定不区分大小写或区分区域性和区域设置的比较。 以下内置比较器支持公式语言： Comparer.Ordinal：用于执行区分大小写的序号比较 Comparer.OrdinalIgnoreCase：用于执行不区分大小写的序号比较 Comparer.FromCulture：用于执行区分区域性的比较 参数 类型 说明 text 可选 | text | 示例：abc 被搜索文本 substring...