另外，爬取网易云推荐使用selenium，因为我们在做爬取网易云热评的操作时，此时请求得到的代码是父网页的源代码，这时是请求不到子网页的源代码的，也得不到我们需要提取的信息，这是因为selenium打开页面后，默认是在父级frame。

不用说，当然是把脚本转为java代码了，在E clipse中重新开始搞选择一个测试框架有Junit和TestNg两个选择，公司用的是junit，所以，不用多说，我就用junit验证selenium脚本的运行结果并且，Junit和Test。

没有不能查看源代码的网页，点一下F12或者1抓包，找到真正的url，模拟post或get2用selenium+phantomjs 或firefox 或chrome。

这个可以通过浏览器自带的f12 ，或者通过鼠标右键，审计元素获得当前html源代码 答题不易，互相理解，您的采纳是我前进的动力 如果我的回答没能帮助您，请继续追问 您也可以向我们团队发出请求，会有更专业的人来为您解答。

给re的数据类型有错，希望值是字符串，提供的确实其他类型。

selenium的一大优点就是能获取网页渲染后的源代码，即执行操作后的源代码普通的通过 url解析网页的方式只能获取给定的数据，不能实现与用户之间的交互selenium通过获取渲染后的网页源码，并通过丰富的查找工具，个人认为最好。

选择用selenium，但是没找到selenium的webdriver下取得所有资源加载链接的方法selenium包下有一个selenium模块查看源码时看到有个get_all_links方法但是一直没找到这个模块的用法最后，求解答谢谢大家方法不成的话，就。

这里主要根据是当我们鼠标放在以某tag为根节点的源码的上时，上面的页面对应的界面元素会有相应标记方法缺点写出的locator可能并不是页面的唯一，这样selenium运行就难以识别。

如何用python的selenium提取页面所有资源加载的链接 答用浏览器打开你那个连接完整加载，通过 查看源 找到你要的数据记住标记，比如某个元素，selenium+python获取到页面代码再去判断查找你的标记就知道是否加载完了。

page_source 得到的是静态源代码，不含js内容 需要使用find_element_by 等方法定位元素获取。

当使用爬虫抓取网页时，一般只能获取到网页源代码，而无法获取到经过浏览器渲染后的页面内容如果要获取经过浏览器渲染后的内容，需要使用一个浏览器渲染引擎如Selenium来模拟浏览器行为，从而获取到完整的页面内容另外。

安装完成后，还需要安装一些相关的Python库，如requestsbeautifulsoupselenium等可以使用pip命令来安装这些库，例如在命令行中输入以下命令来安装requests库```pipinstallrequests ```二使用requests库获取网页内容 requests。