内容页面通常都是分页的，一次抓取不了太多，这个库可以获取分页信息结果如下通过迭代器实现了智能发现分页，这个迭代器里面会用一个叫 _next 的方法，贴一段源码感受下通过查找 a 标签里面是否含有指定的文本来。

1提取列车Code和No信息2找到url规律，根据Code和No变化实现多个网页数据爬取3使用PhantomJS模拟浏览器爬取源代码4用bs4解析源代码，获取所需的途径站数据5用csv库存储获得的数据。

当使用爬虫抓取网页时，一般只能获取到网页源代码，而无法获取到经过浏览器渲染后的页面内容如果要获取经过浏览器渲染后的内容，需要使用一个浏览器渲染引擎如Selenium来模拟浏览器行为，从而获取到完整的页面内容另外。

如何使用Chrome的inspect找到隐藏的数据资源 懿漫刚开始抓数据的时候，会遇到在右键查看网页源码view page source中找不到的网页中加载的数据，很苦恼啊 然后学会了如何使用Chrome的network来找到这些信息 3查找步骤4。