⑴ 如何進行手機APP的數據爬取
Python爬蟲手機的步驟：
1. 下載fiddler抓包工具
2. 設置fiddler
這里有兩點需要說明一下。
設置允許抓取HTTPS信息包
操作很簡單，打開下載好的fiddler，找到 Tools -> Options，然後再HTTPS的工具欄下勾選Decrpt HTTPS traffic，在新彈出的選項欄下勾選Ignore server certificate errors。
設置允許外部設備發送HTTP/HTTPS到fiddler
相同的，在Connections選項欄下勾選Allow remote computers to connect，並記住上面的埠號8888，後面會使用到。
好了，需要的fiddler設置就配置完成了。
3. 設置手機端
設置手機端之前，我們需要記住一點：電腦和手機需要在同一個網路下進行操作。
可以使用wifi或者手機熱點等來完成。
假如你已經讓電腦和手機處於同一個網路下了，這時候我們需要知道此網路的ip地址，可以在命令行輸入ipconfig簡單的獲得，如圖。
好了，下面我們開始手機端的設置。
手機APP的抓取操作對於Android和Apple系統都可用，博主使用的蘋果系統，在此以蘋果系統為例。
進入到手機wifi的設置界面，選擇當前連接網路的更多信息，在蘋果中是一個嘆號。然後在最下面你會看到HTTP代理的選項，點擊進入。
進入後，填寫上面記住的ip地址和埠號，確定保存。
4. 下載fiddler安全證書
在手機上打開瀏覽器輸入一個上面ip地址和埠號組成的url：http://192.168.43.38:8888，然後點擊FiddlerRoot certificate下載fiddler證書。
以上就簡單完成了所有的操作，最後我們測試一下是否好用。
5. 手機端測試
就以知乎APP為例，在手機上打開 知乎APP。下面是電腦上fiddler的抓包結果。
結果沒有問題，抓到信息包。然後就可以使用我們分析網頁的方法來進行後續的操作了。
⑵ 如何用爬蟲爬網路代理伺服器地址
網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。
1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。
2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。
3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。
4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。