scrapy 参数
    Scrapy是一个强大的Python爬虫框架，可以帮助开发者快速构建爬虫应用。在使用 Scrapy 进行爬取时，有很多参数可以进行配置，以达到更好的效果。下面介绍一些常见的 Scrapy 参数。
    1. start_urls：起始 URL
    这个参数用于指定爬虫开始抓取的 URL 地址。可以指定一个 URL，也可以指定多个 URL。
    2. allowed_domains：允许的域名
    这个参数用于指定允许抓取的域名。只有指定的域名下的链接才会被爬取。
    3. scrapy.Spider.name：爬虫名称
    这个参数用于指定爬虫的名称。每个爬虫都有一个独特的名称，方便进行管理和调用。
    4. scrapy.Spider.custom_settings：自定义设置
    这个参数用于进行自定义设置，可以通过这个参数来配置 Scrapy 的一些属性，比如 CONCURRENT_REQUESTS、DOWNLOAD_DELAY、USER_AGENT 等。
    5. settings.py：全局设置
    除了通过 custom_settings 进行自定义设置外，还可以在 settings.py 文件中进行全局设置。可以设置一些默认值，比如默认的 USER_AGENT 等。
    6. scrapy.Spider.parse：解析函数
scrapy分布式爬虫    这个参数用于指定解析函数。在爬取页面后，Scrapy 会根据这个参数指定的函数进行解析，提取页面中的数据。
    7. scrapy.Request：发送请求
    这个参数用于发送请求，可以通过这个参数的属性来设置请求的 URL、请求头、请求体等信息。
    8. scrapy.Item：数据存储
    这个参数用于存储数据，可以将解析到的数据存储到 Item 对象中，方便后续的处理和存储。
    以上是一些常见的 Scrapy 参数，当然还有很多其他的参数和配置。在使用 Scrapy 进行爬取时，可以根据需要进行灵活的配置和调整，以达到更好的效果。