我是编程乐趣,一个10年.Net开发经验老程序员,点击右上方“关注”,每天为你分享开源项目和编程知识。
推荐一个数据提取、转换和加载.Net框架,方便我们处理数据。
01
项目简介
ChoETL 是一个开源的 .NET ETL(Extract, Transform, Load)框架。
它提供了解析和写入多种文件格式的能力,包括但不限于 CSV、FixedLength、XML、JSON、Key-Value、Parquet、YAML 和 Avro格式的文件、数据库。
02
项目特点
平台:.NET(支持 .NET Framework, .NET Standard, 和 .NET Core)。
数据源支持:能够从多种数据源中提取、写入数据,包括但不限于数据库(SQL Server、Sqlite )、CSV、FixedLength、XML、JSON、Key-Value、Parquet、YAML 和 Avro。
详细文档:针对每一个格式都有详细的文档实例。
03
使用方法
1、CSV文件操作
//CSV文件Id,Name1,Tom2,Carl3,Mark//CSV读取foreach (dynamic e in new ChoCSVReader("Emp.csv").WithFirstLineHeader()) Console.WriteLine("Id: " + e.Id + " Name: " + e.Name) //CSV写入List<ExpandoObject> objs = new List<ExpandoObject>();dynamic rec1 = new ExpandoObject();rec1.Id = 1;rec1.Name = "Mark";objs.Add(rec1);dynamic rec2 = new ExpandoObject();rec2.Id = 2;rec2.Name = "Jason";objs.Add(rec2);using (var parser = new ChoCSVWriter("Emp.csv")){ parser.Write(objs);}2、XML文件操作
//XML文件<Employees> <Employee Id='1'> <Name>Tom</Name> </Employee> <Employee Id='2'> <Name>Mark</Name> </Employee></Employees>//xml文件读取foreach (dynamic e in new ChoXmlReader("Emp.xml")) Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);//xml文件写入List<ExpandoObject> objs = new List<ExpandoObject>();dynamic rec1 = new ExpandoObject();rec1.Id = 1;rec1.Name = "Mark";objs.Add(rec1);dynamic rec2 = new ExpandoObject();rec2.Id = 2;rec2.Name = "Jason";objs.Add(rec2);using (var parser = new ChoXmlWriter("Emp.xml").WithXPath("Employees/Employee")){ parser.Write(objs);}3、Json文件操作
//JSON文件[ { "Id": 1, "Name": "Mark" }, { "Id": 2, "Name": "Tom" }]//JSON读取foreach (dynamic e in new ChoJSONReader("Emp.json")) Console.WriteLine("Id: " + e.Id + " Name: " + e.Name);//JSON写入List<ExpandoObject> objs = new List<ExpandoObject>();dynamic rec1 = new ExpandoObject();rec1.Id = 1;rec1.Name = "Mark";objs.Add(rec1);dynamic rec2 = new ExpandoObject();rec2.Id = 2;rec2.Name = "Jason";objs.Add(rec2);using (var parser = new ChoJSONWriter("Emp.json")){ parser.Write(objs);}04
使用方法
https://github.com/Cinchoo/ChoETL
- End -