轻松搞定数据提取与解析，提升工作效率
大家好！今天咱们来聊聊Python中两个超实用的库：csv和nokogiri。csv库是处理CSV文件的利器，可以轻松读写表格数据，适合处理结构化信息。nokogiri则是解析HTML和XML的神器，能快速提取网页中的关键信息。把它们俩结合起来，简直是无敌组合！比如，你可以用nokogiri从网页抓取数据，再用csv保存到本地；或者用csv读取本地数据，再用nokogiri生成动态网页内容。接下来，咱们通过几个例子，看看它们如何协同工作，以及可能会遇到的问题和解决方法。
先来了解一下csv库的基本功能。它主要用于读写CSV文件，支持列表、字典等多种数据格式。比如，你可以用csv.reader读取文件，用csv.writer写入文件，操作简单高效。nokogiri则是一个强大的HTML/XML解析库，可以像操作DOM树一样提取网页中的元素。它的选择器语法和XPath功能，让数据提取变得非常直观。
咱们来看第一个组合功能：从网页抓取表格数据并保存为CSV文件。假设你有一个网页，里面有一个表格，记录了商品信息。你可以用nokogiri提取表格内容，再用csv保存到本地。
import csv from nokogiri import HTML # 假设这是网页内容 html_content = """ <table> <tr><th>商品</th><th>价格</th><th>库存</th></tr> <tr><td>苹果</td><td>5</td><td>100</td></tr> <tr><td>香蕉</td><td>3</td><td>200</td></tr> </table> """ # 解析HTML doc = HTML(html_content) rows = doc.css('tr') # 提取数据并保存到CSV with open('products.csv', 'w', newline='') as file: writer = csv.writer(file) for row in rows: cells = row.css('td, th') writer.writerow([cell.text for cell in cells])
这段代码先用nokogiri解析HTML，提取表格中的每一行，再用csv将数据写入文件。这样，网页中的表格就轻松保存到本地了。
第二个组合功能：从CSV文件读取数据，生成动态HTML页面。比如，你有一个CSV文件，记录了员工信息，你想把这些信息展示在网页上。
import csv from nokogiri import HTML # 读取CSV文件 with open('employees.csv', 'r') as file: reader = csv.reader(file) rows = list(reader) # 生成HTML doc = HTML('<html><body><table></table></body></html>') table = doc.css('table').first for row in rows: tr = doc.create_element('tr') for cell in row: td = doc.create_element('td') td.content = cell tr.append_child(td) table.append_child(tr) # 输出HTML print(doc.to_html)
这段代码从CSV文件读取数据，用nokogiri生成一个HTML表格，并将数据填充进去。这样，你就可以动态生成网页内容了。
第三个组合功能：从网页抓取数据，处理后保存为CSV文件。比如，你想从网页中提取一些评论信息，并统计每条评论的长度，最后保存到CSV文件中。
import csv from nokogiri import HTML # 假设这是网页内容 html_content = """ <div # 解析HTML doc = HTML(html_content) comments = doc.css('.comments p') # 处理数据并保存到CSV with open('comments.csv', 'w', newline='') as file: writer = csv.writer(file) writer.writerow(['评论', '长度']) for comment in comments: text = comment.text length = len(text) writer.writerow([text, length])
这段代码从网页中提取评论，计算每条评论的长度，并将结果保存到CSV文件中。
当然，在实际使用中，你可能会遇到一些问题。比如，网页结构复杂，nokogiri的选择器可能无法直接定位目标元素。这时，你可以结合XPath语法，或者先打印出部分HTML内容，逐步调试。再比如，CSV文件中包含特殊字符，导致写入失败。你可以设置quoting参数，或者对数据进行预处理。
希望这些例子能帮你更好地理解csv和nokogiri的组合用法。如果你有任何问题，或者想了解更多Python技巧，欢迎留言联系我！咱们一起学习，一起进步！
总结一下，csv和nokogiri是两个非常实用的Python库，分别用于处理CSV文件和解析HTML/XML。把它们结合起来，可以实现从网页抓取数据、生成动态网页内容、处理并保存数据等多种功能。虽然在实际使用中可能会遇到一些问题，但通过调试和预处理，这些问题都能轻松解决。希望这篇文章能为你带来启发，帮助你提升工作效率！下次再见！
