上一篇文章我们介绍了geopy的基本使用，这一篇文章我们根据中心点坐标，方向，距中心点距离计算出对应的坐标点，这种用法官网并没有给出详细的文档，我们这里做一下说明

生成坐标点的具体方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14

import geopy.distance

def get_distance_point(lat, lon, distance, direction):
    """
    根据经纬度，距离，方向获得一个地点
    :param lat: 纬度
    :param lon: 经度
    :param distance: 距离（千米）
    :param direction: 方向（北：0，东：90，南：180，西：360）
    :return:
    """
    start = geopy.Point(lat, lon)
    d = geopy.distance.VincentyDistance(kilometers=distance)
    return d.destination(point=start, bearing=direction)

调用示例

1
2
3
4
5

>>> import geopy
>>> import geopy.distance
>>> p = get_distance_point(39.90733345, 116.391244079988, 8.5, 90)
>>> print (p.latitude, p.longitude)
(39.90729084605293, 116.49064857447016)

geopy是Python关于地理位置的一个第三方库，用这个库来进行地址位置信息的查询和转换非常方便，本文介绍关于geopy的常用的几种用法

geopy的安装

1

pip install geopy

根据地址查询坐标及详细信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

>>> import json, logging
>>> from geopy.geocoders import Nominatim
>>> geolocator = Nominatim()
>>> location = geolocator.geocode("北京天安门")
>>> print location.address
天安门, 1, 西长安街, 崇文, 北京市, 东城区, 北京市, 100010, 中国
>>> print (location.latitude, location.longitude)
(39.90733345, 116.391244079988)
>>> print json.dumps(location.raw, indent=4, ensure_ascii=False, encoding='utf8')
{
    "display_name": "天安门, 1, 西长安街, 崇文, 北京市, 东城区, 北京市, 100010, 中国", 
    "importance": 0.00025, 
    "place_id": "74005413", 
    "lon": "116.391244079988", 
    "lat": "39.90733345", 
    "osm_type": "way", 
    "licence": "Data © OpenStreetMap contributors, ODbL 1.0. https://osm.org/copyright", 
    "osm_id": "25097203", 
    "boundingbox": [
        "39.9072273", 
        "39.9075343", 
        "116.3906566", 
        "116.3918428"
    ], 
    "type": "yes", 
    "class": "building"
}

根据坐标信息查询地址

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

>>> import json, logging
>>> from geopy.geocoders import Nominatim
>>> geolocator = Nominatim()
>>> location = geolocator.reverse("39.90733345,116.391244079988")
>>> print location.address
天安门, 1, 西长安街, 崇文, 北京市, 东城区, 北京市, 100010, 中国
>>> print json.dumps(location.raw, indent=4, ensure_ascii=False, encoding='utf8')
{
    "display_name": "天安门, 1, 西长安街, 崇文, 北京市, 东城区, 北京市, 100010, 中国", 
    "place_id": "74005413", 
    "lon": "116.391244079988", 
    "boundingbox": [
        "39.9072273", 
        "39.9075343", 
        "116.3906566", 
        "116.3918428"
    ], 
    "osm_type": "way", 
    "licence": "Data © OpenStreetMap contributors, ODbL 1.0. https://osm.org/copyright", 
    "osm_id": "25097203", 
    "lat": "39.90733345", 
    "address": {
        "building": "天安门", 
        "city": "北京市", 
        "house_number": "1", 
        "country": "中国", 
        "suburb": "东城区", 
        "state": "北京市", 
        "postcode": "100010", 
        "country_code": "cn", 
        "road": "西长安街"
    }
}

中国城市线级及市中心经纬度表

Mac上从官方安装完Mysql5.7后，有一部分的字符集默认为latin1，而非utf8，为避免乱码的产生，本文介绍将所有字符集设置为utf8

查看当前字符集编码

1

show variables like '%char%';

我们会发现这些字符集为latin1

修改字符集为utf8

1. 关闭Mysql服务
2. 新建一个my.cnf配置文件，执行下面命令，如果已存在则会打开该文件

1

sudo vim /etc/my.cnf

3. 按i键进入编辑模式并加入以下配置，然后按esc键退出编辑模式并按shift+zz保存

1
2
3
4
5
6

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
character-set-server=utf8

4. 启动Mysql服务，查看编码，成功

爬虫工具Scrapy在Mac和Linux环境下都相对好装，但是在Windows上总会碰到各种莫名其妙的问题。本文记录下Scrapy在Window上的安装过程。
本文是基于Python2.7及Windows 10安装Scrapy及各种爬虫相关库。

下载安装Scrapy

Scrapy官方文档

1. 按照官网建议下载安装Anaconda,使用这个安装比直接pip安装会少很多问题。
   下载地址

2. 安装完成后，python2.7也会自动安装好，然后执行以下命令安装Scrapy.

1

conda install -c conda-forge scrapy

安装mysql驱动

1. 下载并安装mysql官方的驱动程序。下载地址

2. 下载mysql的python驱动程序,可以把两个都装上，使用的时候再决定用哪个。

• MySQL官方的纯Python驱动

1

pip install mysql-connector-python

• 封装了MySQL C驱动的Python驱动

  1. 安装Python版C++编译程序。下载地址

  2. 拷贝mysql驱动(32位不需要这一步)，将”C:\Program Files\MySQL” 拷贝到 “C:\Program Files (x86)\MySQL”。
     目的是为了防止下一步的错误”Cannot open include file: ‘config-win.h’: No such file or directory”

  3. 安装驱动

     1	pip install MySQL-python

4. 安装数据库连接池工具

   
1
pip install DBUtils

安装其它相关的依赖库

安装BeautifulSoup

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。

1

pip install beautifulsoup4

安装PyQuery

PyQuery库也是一个非常强大又灵活的网页解析库。

1

pip install pyquery

Charles介绍

Charles是一款强大的http/https抓包工具，可以抓取各种数据请求，查看请求的头信息，请求信息，返回信息等。本文主要介绍Charles的破解过程，包括Windows平台和Mac平台。

破解文件下载

点击这里下载

Windows平台

1. 到官网下载最新版，然后安装到本机。官网下载地址

2. 下载上面的破解文件。

3. 打开Charles的安装文件夹进入到lib文件夹下面，将破解文件复制过来替换掉原文件。
   

Mac平台

1. 到官网下载最新版，然后安装到本机。官网下载地址

2. 下载上面的破解文件。

3. 打开Finder,在应用程序中选择Charles并右键选择显示包内容：
   

4. 显示包内容后在Content/Java目录下将破解文件复制过来替换掉原文件即可:
   

5. 如果打开Charles时提示”程序已损坏，打不开。您应该将它移到废纸篓。”

   此时需要在终端中执行以下命令即可：

   1	sudo spctl --master-disable

总结

至此，Charles破解完毕，在进行抓包的过程中，抓取http没有什么问题，但是抓取Https就不那么容易了，抓取Https可以参考这篇文章：
使用Charles对Android App的https请求进行抓包

本文背景

公司新项目要求抓取目前市面上一些热门App的数据，经过研究发现很多App的网络请求都使用https进行数据传输，这样问题就来了，http使用明文传输所有请求都能拦截到，而https请求无法拦截。
所以这里我们要使用Charles来抓取https，但是笔者看了网上很多使用iOS设备进行抓取https的文章，经测试iOS8/10/11均无法进行正常抓取,即使信任证书也不行。
经过笔者的不断尝试，终于在Android5.0上成功抓取了https。研究后发现，在Android7.0以下可以正常使用Charles抓取。Android7.0以上应该是默认屏蔽了此种方法。

Charles安装

• 这里给出官网下载的链接
• 如果需要破解文件点击这里
• 安装破解过程可以查看这篇文章

Charles配置

配置电脑端的根证书

1. 打开Charles,我这里使用的是v4.2.5版本:
   

2. 安装根证书
   

3. Mac需要设置信任证书

   1. 安装后会弹出钥匙串访问界面，如图：
      

   2. 双击证书，弹出证书详细界面，点击『信任』选项，然后将所有设置为始终信任，如图:
      

在手机端配置根证书

1. 在电脑端选择安装移动端的证书：
   

2. 选择后会显示IP与端口号，用于手机设置http代理：
   

3. 手机的网络上设置成电脑的http代理：
   此时必须保证手机和电脑在同一网络，并且手机可以访问电脑的ip与端口
   

4. 设置完成后访问网络时，服务端会弹出提示，点击Allow(同意连接)：
   

5. 手机浏览器（笔者使用Chrome）访问chls.pro/ssl，下载证书并安装(证书名任意)：
   

配置电脑端的抓取规则

1. 进入Charles的SSL代理设置:
   

2.勾上启动SSL代理，并添加一个抓取规则，比如这里加上一个抓取所有https(443端口)的请求：

3.此时手机上打开https请求的应用，应该就可以正常看到https请求的数据了：如图：

常见问题

1. 配置好后无法打开APP

在我们抓取时碰到个别APP在配置代理后无法打开，这个主要是因为该APP做了防止抓取处理，比如校验https的证书是否合法等，这种解决方法可以通过反编译APP，查看源码解决，难度较大。

2. 抓取到的内容为乱码

有的APP为了防止抓取，在返回的内容上做了层加密，所以从Charles上看到的内容是乱码。这种情况下也只能反编译APP,研究其加密解密算法进行解密。