ChoETL:支持多数据读写.Net开源库,包含CSV、XML、JSON等格式

玩点科技新鲜事 2024-09-09 16:15:03

我是编程乐趣,一个10年.Net开发经验老程序员,点击右上方“关注”,每天为你分享开源项目和编程知识。

推荐一个数据提取、转换和加载.Net框架,方便我们处理数据。

01

项目简介

ChoETL 是一个开源的 .NET ETL(Extract, Transform, Load)框架。

它提供了解析和写入多种文件格式的能力,包括但不限于 CSV、FixedLength、XML、JSON、Key-Value、Parquet、YAML 和 Avro格式的文件、数据库。

02

项目特点

平台:.NET(支持 .NET Framework, .NET Standard, 和 .NET Core)。

数据源支持:能够从多种数据源中提取、写入数据,包括但不限于数据库(SQL Server、Sqlite )、CSV、FixedLength、XML、JSON、Key-Value、Parquet、YAML 和 Avro。

详细文档:针对每一个格式都有详细的文档实例。

03

使用方法

1、CSV文件操作

//CSV文件Id,Name1,Tom2,Carl3,Mark//CSV读取foreach (dynamic e in new ChoCSVReader("Emp.csv").WithFirstLineHeader())    Console.WriteLine("Id: " + e.Id + " Name: " + e.Name)    //CSV写入List<ExpandoObject> objs = new List<ExpandoObject>();dynamic rec1 = new ExpandoObject();rec1.Id = 1;rec1.Name = "Mark";objs.Add(rec1);dynamic rec2 = new ExpandoObject();rec2.Id = 2;rec2.Name = "Jason";objs.Add(rec2);using (var parser = new ChoCSVWriter("Emp.csv")){ parser.Write(objs);}

2、XML文件操作

//XML文件<Employees> <Employee Id='1'> <Name>Tom</Name> </Employee> <Employee Id='2'> <Name>Mark</Name> </Employee></Employees>//xml文件读取foreach (dynamic e in new ChoXmlReader("Emp.xml")) Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);//xml文件写入List<ExpandoObject> objs = new List<ExpandoObject>();dynamic rec1 = new ExpandoObject();rec1.Id = 1;rec1.Name = "Mark";objs.Add(rec1);dynamic rec2 = new ExpandoObject();rec2.Id = 2;rec2.Name = "Jason";objs.Add(rec2);using (var parser = new ChoXmlWriter("Emp.xml").WithXPath("Employees/Employee")){ parser.Write(objs);}

3、Json文件操作

//JSON文件[ { "Id": 1, "Name": "Mark" }, { "Id": 2, "Name": "Tom" }]//JSON读取foreach (dynamic e in new ChoJSONReader("Emp.json")) Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);//JSON写入List<ExpandoObject> objs = new List<ExpandoObject>();dynamic rec1 = new ExpandoObject();rec1.Id = 1;rec1.Name = "Mark";objs.Add(rec1);dynamic rec2 = new ExpandoObject();rec2.Id = 2;rec2.Name = "Jason";objs.Add(rec2);using (var parser = new ChoJSONWriter("Emp.json")){ parser.Write(objs);}

04

使用方法

https://github.com/Cinchoo/ChoETL

- End -

0 阅读:0

玩点科技新鲜事

简介:感谢大家的关注