<cite id="1lwsx"><noscript id="1lwsx"><samp id="1lwsx"></samp></noscript></cite>
<cite id="1lwsx"></cite>

  • <b id="1lwsx"></b>
    <rp id="1lwsx"><meter id="1lwsx"><p id="1lwsx"></p></meter></rp>

      1. <cite id="1lwsx"><span id="1lwsx"><var id="1lwsx"></var></span></cite>

      2. <rt id="1lwsx"></rt>

        <b id="1lwsx"></b>

      3. <rp id="1lwsx"><meter id="1lwsx"></meter></rp>

        D丶個人博客



        centos服務器搭建代理IP 給 Python爬蟲使用-centos7服務器 用Squid搭建HTTP代理,給python 爬 網站用 | D丶個人博客

        centos服務器搭建代理IP 給 Python爬蟲使用

        centos7服務器 用Squid搭建HTTP代理,給python 爬 網站用


        centos7服務器 用Squid搭建HTTP代理,給python 爬 網站用

        python 爬一個網站次數太多,被封IP,就用代理IP解決

        可去西刺免費代理IP網站找免費代理IP(http://www.xicidaili.com/

        20180906163614125.png

        找了一會免費IP,發現不是不能用就是太慢,決定自己用服務器搭建一個代理IP

        先上python 代碼

        from urllib import request
         
        if __name__ == "__main__":
            #訪問網址
            url = 'http://www.www.qiaotanbeng.cn'
            #這是代理IP
            proxy = {'http':'222.221.11.119:3128'}
            #創建ProxyHandler
            proxy_support = request.ProxyHandler(proxy)
            #創建Opener
            opener = request.build_opener(proxy_support)
            #添加User Angent
            opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]
            #安裝OPener
            request.install_opener(opener)
            #使用自己安裝好的Opener
            response = request.urlopen(url,timeout=5)
            #讀取相應信息并解碼
            html = response.read().decode("utf-8")
            #打印信息
            print(html)


        搭建服務器:

        1、yum 安裝 squid (-y 全自動安裝)

        yum install squid -y
        yum install httpd-tools -y

        2、生成密碼文件

        mkdir /etc/squid3/
        #username 是用戶名
        htpasswd -cd /etc/squid3/passwords username
        #提示輸入密碼,輸入即可

        3、配置squid.conf文件

        vi /etc/squid/squid.conf

          配置文件最后加入

        auth_param basic program /usr/lib64/squid/basic_ncsa_auth /etc/squid3/passwords
        auth_param basic realm proxy
        acl authenticated proxy_auth REQUIRED
        http_access allow authenticated
         
        #這里是端口號,可以按需修改,同時監聽ipv6和ipv4的端口
        http_port 0.0.0.0:3128
         
        # 設置來源IP白名單,增加的這兩行要在 http_access deny all 前面
         
        acl client src 122.55.87.125
        http_access allow client
        # And finally deny all other access to this proxy
        http_access deny all


        4、修改完配置文件后 啟動

        #啟動
        systemctl start squid.service
        #配置開機自啟動
        systemctl enable squid.service

        5、如果配置文件有錯,會啟動不了,檢查下重新啟動


        配上前面的python 代碼,換了代理IP測試可以,又可以愉快的爬蟲了



        評論


        About ME

        about me

        程序猿

        熱愛生活的程序猿 ,QQ:519395243

        山高自有客行路,水深自有渡船人?!段饔斡洝?/p>

        Contact ME

        QQ:519395243

        TAG cloud

        亚洲 美腿 另类 丝袜