Louie麻糬的小天地

進入命令提示字元，安裝scrapy：

pip  install  scrapy

建立專案

scrapy  startproject  專案名稱

建立爬蟲檔案(記得先切換至資料夾內!!)

scrapy  genspider  example  example.com

安裝scrapy的user_agents:

pip  install  scrapy_user_agents

教學連結: https://www.youtube.com/watch?v=2vcp0fKq3aw

在settings.py貼上

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400,
}

來源: https://pypi.org/project/scrapy-user-agents/

教學連結: https://www.youtube.com/watch?v=GOjuQ9IgSfI

要開始爬網站時的語法(並且輸出檔案，可輸出CSV、JSON、XML)：

scrapy crawl example -o 檔案名稱.csv