爬虫、清洗等技术基本概念及常用工具认知
爬虫技术是一种按照一定的规则、自动的抓取万维网信息的脚本或者程序。它主要用于数据抓取和信息提取，是数据挖掘和机器学习等领域的重要工具。
清洗技术则是对数据进行预处理的一种技术，主要是通过数据清洗，将不符合要求的数据清洗掉，提高数据的质量。
常用的爬虫工具有：
1.Python：Python是一种广泛使用的编程语言，具有丰富的库和工具，非常适合进行爬虫开发。
2.Scrapy：Scrapy是一个用于Python的快速、高层次的屏幕抓取和web抓取框架，用于抓取web页面并提取结构化数据。
3.BeautifulSoup：BeautifulSoup是一个用于Python的库，用于从网页中提取数据。它能够解析HTML和XML文档，并提供了许多方便的API，使得网页解析更加简单。
4.Requests：Requests是一个用于Python的库，用于发送HTTP请求。它提供了简单易用的API，可以轻松地发送GET、POST等请求，并获取响应。
常用的清洗工具有：
1.Pandas：Pandas是一个Python库，用于数据处理和分析。它提供了DataFrame和Series两种数据结构，可以方便地进行数据清洗、转换、分析和可视化等工作。
2.NumPy：NumPy是Python的一个库，用于进行数值计算。它提供了大量的数学函数和操作，可以用于数据清洗和处理。
3.Scikit-learn：Scikit-learn是一个Python机器学习库，提供了许多数据预处理和特征提取的方法。它可以帮助我们进行数据清洗和处理，提高数据的质量和准确性。
4.NLTK：NLTK是Python的一个自然语言处理库，可以进行文本清洗和处理。它提供了许多文本处理和分析的工具和方法，可以帮助我们进行文本数据的预处理和特征提取等工作。
>python爬虫开发