爬取地址的經緯度(不透過辜狗的API TOKEN)

2020-12-07

562
0
Python

爬取經緯度

前情提要
想要做一個股票分點的地緣分點分類
其實就只要爬大概1700+900個地址而已
但是面臨的問題就是線上一堆API有問題或是地圖整天打固定點不然就是TOKEN已經過期的CODE

恩做八
所以就改了另一種爬蟲的模式觀察API
發現有一條路可以走所以就趕快用PYTHON寫了一個更新經緯度的語法

import requests
import json
import random


def get_addr(addr):
    targeturl ='https://www.google.com.tw/search?tbm=map&authuser=0&hl=zh-TW&gl=tw&q='+addr['add']
    headers = {
        'User-Agent': '',
        'cookie': '',  # This is another valid field
        'upgrade-insecure-requests':'1',
        'x-client-data':'',
        'accept':''
        }    
    data= requests.get(targeturl,headers=headers)
    try:
        print(data.text[5:])
        d=  json.loads(data.text[5:])
        #經緯度抓回來看字串再裡面的某一個很細的TAG有
        ##(d[16][0][0][7][1][3][2], d[16][0][0][7][1][3][3],addr)<<<以我的例子在這裏面
    except:
        return ""

for i in List:
    time.sleep(random.random()*15)
    print( get_addr(i))

紀錄一下這個方法... 至少省錢幫我爬了不少經緯度

Python

回首頁