对于点击 <a target='_blank'>
标签打开新 tab 页的场景,Puppeteer目前(2019-03,v1.13.0)没有现成的 API 支持。因此需要一些 walkaround 来解决。有几个方案。
提取 href
,手动打开新 page 去访问
url = await page.evaluate('() => $("a").attr("href")')
detail_page = await browser.newPage()
# goto 带了 waitForNavigation 的作用
await detail_page.goto(detail_page_url)
使用点击,再去轮徇 pages
代码如下。这个方案的问题在于,拿到 detail_page
时并不知道页面是否 load
完成了,在这个时候调用 .waitForNavigation()
可能会超时报错(因为没有 load
事件被 fire)。如果页面有 AJAX 请求,你可能需要写额外的 waitForSelector
来确保你要的数据已经在页面上。
# 点击完后出现新 tab 页
await page.click(f'#panel-5 tr:nth-child({index + 1}) a')
# 等新 Tab 页 ready,即 pages 中有新 tab 页。由于没有现成 API,只能靠等
detail_page = None
for i in range(5):
pages = await browser.pages()
try:
detail_page = next(page for page in pages if 'biangeng.html' in page.url)
except StopIteration:
await asyncio.sleep(1)
else:
break
if detail_page is None:
msg = "New page did not show up or show up so slowly."
logger.error(msg)
raise Exception(msg)