实操 | 芝麻代理IP测试，最新代理IP质量测试，代理IP有推荐的吗？

795 阅读 0 评论 65 点赞

当我们选择HTTP代理的时候，经常看到人说，

“芝麻代理不错，就是贵了点。”

“芝麻代理的还可以，如果预算够的话”

……

但如果我们在互动社区，也能常常看到又朋友说不行的。

吐槽的时长跨度好几年的，看到这我生出一种疑问，目前市面上很多HTTP代理都有提供试用，购买之前大部分人都会使用，如果测试结果不行，为什么会购买？

秉着对真相的探究，我自费购买芝麻网络HTTP代理进行测试供大家参考。那一起看看测试结果吧！

1.测试HTTP代理的注意事项

在测试之前，我们需要注意的是：

测试环境应该符合实际应用环境
测试频率要符合我们日常做数据采集的使用习惯
测试IP的节点范围要广
不同应用场景下的不同需求，需要选择适合的测试方法和指标

2.HTTP代理测试项目

本次主要测试这几个方面：稳定性、匿名程度、响应速度、IP池可用率以及带宽等问题，通常我们会结合多种测试方法和工具，以此来全面评估这家HTTP代理的质量，衡量是否值得购买。

响应速度

通过测量HTTP代理与目标服务器之间的响应时间，评估HTTP代理的连接速度。在测试的时候，可以统计一下所有的时间，然后测算平均响应时间。如果这个HTTP代理能够更快地传输请求和接收响应，证明这个HTTP代理速度越快。

可用率

一个可用性高的HTTP代理意味着它在大部分时间内都能正常工作，并且能够顺利传递请求和响应。我这设置成30秒，意思就是使用这个HTTP代理访问网站超过30秒还是得不到响应，就默认为这个HTTP代理无效了。

假设我们一次性提取1000个HTTP代理，如果这1000个HTTP代理在我们使用的时候，有50个超过30秒得到不到响应/无法传递请求，则认为这个可用率为（1000-50）➗1000=95%。

稳定性

在数据抓取的时候，我们会用到大量的HTTP代理，一个稳定的HTTP代理能够长时间保持连接，并且不会频繁断开或出现连接错误，才能有效助力我们数据抓取。

带宽

对于大部分的用户来说，HTTP代理的带宽高低也很影响使用体验，而影响HTTP代理的带宽高低的因素蛮多的，如：HTTP代理的使用人数、厂商对HTTP代理带宽的限制、代理服务器的性能等。

ps：大家如果想要自己测试，可以根据实际需求和应用场景稍作调整。

3.测评环境

良好的测试环境，需要在稳定的网络环境下测试，以及，至少跑得动的设备，手动加狗头。

这次测评，我是使用 python 30个线程池进行多线程测试，其中电脑配置如下：

4.测试链接

是我们熟悉的，度娘

5.测试数量

选择提取1000个HTTP代理进行测试。

6.测试过程

这次，我把响应速度和可用率结合在一起，测试芝麻代理对百度站点的连通性和请求延迟。

有效性+延迟代码如下：

# 测试代理ip有效性核心代码
def test_proxy_usability(proxy_ip,thread_id):
    target_url = 'http://www.baidu.com'
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
    }
    proxies = {
        'http': f'http://{proxy_ip}',
        'https': f'http://{proxy_ip}'
    }
    try:
        status = "失败"
        resp = session.get(target_url,headers=headers, proxies=proxies, timeout=5)
        if resp.status_code == 200:
            status = "成功"
        else:
            pass
    except Exception as e:
        pass

状态码‘200’就是访问成功，证明这个HTTP代理是有效的。

测试运行如下：

稳定性：利用平均响应速度方差分析，我们可以发现稳定性如何较高。

计算公式如下：

S^2=1/n[（x1-x）^2+（x2-x）^2+……+（xn-x）^2]

简单来说，excel的里面的方差计算公式VAR()可以帮助我们秒计算。善用excel~

带宽测试代码如下：

#测试带宽核心代码
def test_proxy_bandwidth(auth_key,ip,proxies,thread_id,source_url):
    res = {
        "thread_id":thread_id,
        "ip":ip.replace('\n',''),
        "target_url":source_url,
    }
    file_size = 10 * 1024 * 1024  # 10 MB
    start_time = time.time()
    downloaded_size = 0
    try:
        response = requests.get(source_url, proxies=proxies, stream=True, timeout=30)
        dirname = f"./{auth_key}_{ip}"
        with open(f'{dirname}', 'wb') as f:
            for chunk in response.iter_content(chunk_size=8192):
                f.write(chunk)
                downloaded_size += len(chunk)
                f.flush()
                if downloaded_size >= file_size:
                    break

        elapsed_time = time.time() - start_time
        download_speed = downloaded_size / elapsed_time / 1024   # KB/s

    except Exception as e:
        elapsed_time = time.time() - start_time
        download_speed = downloaded_size / elapsed_time / 1024  # MB/s

这里是下载10M文件，记录测试网速。

测试运行如下：