清除scrapy爬虫满屏的打印信息的问题
Scrapy 提供了 log 功能。可以通过 scrapy.log 模块使用。
在运行scrapy crawl aimks时，屏幕上满屏的打印信息，实在是不好找错误信息。
我查了下scrapy的log服务，他默认开启的是debug模式。
log 服务必须通过显式调用 scrapy.log.start() 来开启，以捕捉顶层的 Scrapy 日志消息。
再次之上，每个 crawler 都拥有独立的 log 观察者（observer）（创建时自动连接（attach）），接收其 spider 的日志消息。
Scrapy 提供 5 层 logging 级别：
CRITICAL – 严重错误(critical)
ERROR – 一般错误(regular errors)
WARNING – 警告信息(warning messages)
INFO – 一般信息(informational messages)
DEBUG – 调试信息(debugging messages)
Logging 设置
以下设置可以被用来配置 logging：
LOG_ENABLED
LOG_ENCODING
LOG_FILE
LOG_LEVEL
LOG_STDOUT
在setting中设置
1 | LOG_LEVEL= 'WARNING' |
这样子，我们的终端就从
变成了
这样子，屏幕是不是清爽了很多呢，查找问题也简单多了。
scrapy在不同的Request之间传递数据的办法 Windows下Sublime Text 3配置php语法错误提示插件PHPCS
123嗨起123嗨起