PHP巧用QueryList大大简化采集程序

发表于： 2020-01-05 2020-01-05
分类：帮助手册
标签： php, QueryList, 插件, 采集

QueryList官网地址：http://www.querylist.cc/

QueryList 是什么
QueryList是一套用于内容采集的PHP工具，它使用更加现代化的开发思想，语法简洁、优雅，可扩展性强。相比传统的使用晦涩的正则表达式来做采集，QueryList使用了更加强大而优雅的CSS选择器来做采集，大大降低了PHP做采集的门槛，同时也让采集代码易读易维护，让你从此告别晦涩难懂且不易维护的正则表达式?。

QueryList 提供的一整套内容采集解决方案
DOM内容选择：CSS选择器
HTTP客户端：GuzzleHTTP
内容过滤：CSS选择器
解决乱码：内置多套乱码解决方案
额外功能：丰富的扩展插件

示例代码
先来感受一下使用 QueryList 来做采集是什么样子。

$data = QueryList::get('https://www.baidu.com/s?wd=QueryList')
      // 设置采集规则
      ->rules([ 
          'title'=>array('h3','text'),
          'link'=>array('h3>a','href')
      ])
      ->queryData();

  print_r($data);

返回结果：

Array
  (
    [0] => Array
        (
            [title] => QueryList|基于phpQuery的无比强大的PHP采集工具
            [link] => http://www.baidu.com/link?url=GU_YbDT2IHk4ns1tjG2I8_vjmH0SCJEAPuuZN
        )
    [1] => Array
        (
            [title] => PHP 用QueryList抓取网页内容 - wb145230 - 博客园
            [link] => http://www.baidu.com/link?url=zn0DXBnrvIF2ibRVW34KcRVFG1_bCdZvqvwIhUqiXaS
        )
    [2] => Array
        (
            [title] => 介绍- QueryList指导文档
            [link] => http://www.baidu.com/link?url=pSypvMovqS4v2sWeQo5fDBJ4EoYhXYi0Lxx
        )
        //...
  )

分别采集百度搜索结果列表的标题和链接

$ql = QueryList::get('https://www.baidu.com/s?wd=QueryList');
$titles = $ql->find('h3>a')->texts(); //获取搜索结果标题列表
$links = $ql->find('h3>a')->attrs('href'); //获取搜索结果链接列表
print_r($titles);
print_r($links);

返回结果：

Array
(
    [0] => QueryList|简洁、优雅的PHP采集工具
    [1] => phpQuery选择器 - QueryList 4.0 指导文档
    [2] => php写爬虫进行采集 QueryList的使用 - CSDN博客
    [3] => QueryList采集在线测试
    [4] => 介绍- QueryList 4.0 指导文档
    [5] => QueryList交流社区|基于phpQuery的无比强大的采集工具
    [6] => 介绍- QueryList 3.0 指导文档
    [7] => thinkphp5使用QueryList实现采集功能 - 坚持一点点 - 博客园
    [8] => QueryList一个基于phpQuery的无比强大的采集工具 - ThinkPHP框架
    [9] => php使用QueryList轻松采集JavaScript动态渲染页面 - QueryList - ...
)
Array
(
    [0] => http://www.baidu.com/link?url=CNKBNz0t9t6YLmIfXjKYnIkcQ-JzNOpAyiAHPDSnlkmrEqMq5q9o44ElplTf7nON
    [1] => http://www.baidu.com/link?url=VKDqdL3WXxuy0xV3uHMDXRrqQlWGhh4qMQ5h4UCBw0sRJvE9uLlMbr5fE_gsURX8oehsAyzi9_QxVuC1CBjoTa
    [2] => http://www.baidu.com/link?url=rjDcaEbicrZjIG-iFJdkHJTWxoxYA2EBatxh-EyvMDdPMPxtOi8nDUi7UiuIgmW9X7o6CvcFUqPqCrqJp7M4FmRKpJ52-ceBowE0ek_jb5O
    [3] => http://www.baidu.com/link?url=9FAlKAB_4xCVP1hv_RlpPN8ROxsTSTDHpnvvxYn4j_veTkhxHfaPHUFAtc8BctDmN9ZVigMS7ggaVy778zAMzK
    [4] => http://www.baidu.com/link?url=CFOkrOHOFsWPddZC1fuRv8ZqwhbF7P6vH1Pg1covRawG6wsmszFW1qnxHf7mWKPM
    [5] => http://www.baidu.com/link?url=7kCwV_WRMZjWAeyOWP3zfX4Jx21tPeZhmyuENciN86BBd_g8znMD3JgEEfvGRbNc
    [6] => http://www.baidu.com/link?url=p3JenyGg7qtP7lSKXkbLM8_eGTzxzjJGch7__-8fmuIsZOdEQbCquS6P_NdR4LoG
    [7] => http://www.baidu.com/link?url=_EJBv9sxVtGT1paHERifcDHEaG8twDHk-Av2JD5DlkJUvipLAdNqovTdXAxijcI3LTaC3F_jYuMkHuTOJ0ic7_
    [8] => http://www.baidu.com/link?url=ad9pwRrrkyTVOB7ZMKN29XyLX1MsXRIFPbA0ldPLTQQ58Dnw_YpZFKJZwxZ-jfaL
    [9] => http://www.baidu.com/link?url=mEjYM95SeHFYCnfITubUoTOj7XWR1NparEcb3hCGqPGv_uChSvVFat6xcvyCz_9mLogw5ol5gU_isHqYRTJj2q
)

Mr Li

37276