geopandas로 원시 데이터 읽기

원시 데이터를 a geopandas GeoDataFrame, a a a 로 읽을 수 pandas DataFrame있습니까?

예를 들어 다음이 작동합니다.

import pandas as pd
import requests
data = requests.get("https://data.cityofnewyork.us/api/geospatial/arq3-7z49?method=export&format=GeoJSON")
pd.read_json(io.BytesIO(r.content))

다음은 그렇지 않습니다 :

import geopandas as gpd
import requests
data = requests.get("https://data.cityofnewyork.us/api/geospatial/arq3-7z49?method=export&format=GeoJSON")
gpd.read_file(io.BytesIO(r.content))

다시 말해, 데이터를 디스크에 먼저 저장하지 않고 메모리에있는 지리 공간 데이터를 읽을 수 있습니까?

json을 GeoDataFrame 생성자로 직접 전달할 수 있습니다.

import geopandas as gpd
import requests
data = requests.get("https://data.cityofnewyork.us/api/geospatial/arq3-7z49?method=export&format=GeoJSON")
gdf = gpd.GeoDataFrame(data.json())
gdf.head()

출력 :

                                            features               type
0  {'type': 'Feature', 'geometry': {'type': 'Poin...  FeatureCollection
1  {'type': 'Feature', 'geometry': {'type': 'Poin...  FeatureCollection
2  {'type': 'Feature', 'geometry': {'type': 'Poin...  FeatureCollection
3  {'type': 'Feature', 'geometry': {'type': 'Poin...  FeatureCollection
4  {'type': 'Feature', 'geometry': {'type': 'Poin...  FeatureCollection

단일 파일 형식 또는 압축 된 shape 파일을 지원하는 경우, 당신은 사용할 수 있습니다 fiona.BytesCollection및 GeoDataFrame.from_features:

import requests
import fiona
import geopandas as gpd

url = 'http://www.geopackage.org/data/gdal_sample.gpkg'
request = requests.get(url)
b = bytes(request.content)
with fiona.BytesCollection(b) as f:
    crs = f.crs
    gdf = gpd.GeoDataFrame.from_features(f, crs=crs)
    print(gdf.head())

url = 'https://www2.census.gov/geo/tiger/TIGER2010/STATE/2010/tl_2010_31_state10.zip'
request = requests.get(url)
b = bytes(request.content)
with fiona.BytesCollection(b) as f:
    crs = f.crs
    gdf = gpd.GeoDataFrame.from_features(f, crs=crs)
    print(gdf.head())

다음과 같은 방법으로 Fiona가 지원하는 형식을 확인할 수 있습니다.

import fiona
for name, access in fiona.supported_drivers.items():
    print('{}: {}'.format(name, access))

그리고 fiona 1.7.1 또는 이전 버전에서 메모리 내 압축 데이터를 읽는 해킹 방법 :

import requests
import uuid
import fiona
import geopandas as gpd
from osgeo import gdal

request = requests.get('https://github.com/OSGeo/gdal/blob/trunk/autotest/ogr/data/poly.zip?raw=true')
vsiz = '/vsimem/{}.zip'.format(uuid.uuid4().hex) #gdal/ogr requires a .zip extension

gdal.FileFromMemBuffer(vsiz,bytes(request.content))
with fiona.Collection(vsiz, vsi='zip', layer ='poly') as f:
    gdf = gpd.GeoDataFrame.from_features(f, crs=f.crs)
    print(gdf.head())

이후 fiona.BytesCollection에 대한 작동하지 않는 것 TopoJSON필요없이 모두 작동하는 솔루션 여기 gdal:

import fiona
import geopandas as gpd
import requests

# parse the topojson file into memory
request = requests.get('https://vega.github.io/vega-datasets/data/us-10m.json')
visz = fiona.ogrext.buffer_to_virtual_file(bytes(request.content))

# read the features from a fiona collection into a GeoDataFrame
with fiona.Collection(visz, driver='TopoJSON') as f:
    gdf = gpd.GeoDataFrame.from_features(f, crs=f.crs)

예, Fiona에서 가능합니다 ( https://github.com/Toblerity/Fiona/issues/409 참조 ). 이 기능이 아직 Geopandas에 노출되어 있는지 확실하지 않습니다.

피오나 1.8을 사용하는 경우,이 캔 (필수는?) 해당 프로젝트의 사용하여 수행 할 수 MemoryFile또는ZipMemoryFile .

예를 들면 다음과 같습니다.

import fiona.io
import geopandas as gpd
import requests

response = requests.get('http://example.com/Some_shapefile.zip')
data_bytes = response.content

with fiona.io.ZipMemoryFile(data_bytes) as zip_memory_file:
    with zip_memory_file.open('Some_shapefile.shp') as collection:
      geodf = gpd.GeoDataFrame.from_features(collection, crs=collection.crs)

가장 쉬운 방법은 GeoJSON URL을 gpd.read ()에 직접 입력하는 것입니다. BytesIO & zipfile을 사용 하여이 전에 zip에서 shapefile을 추출하려고 시도했으며 gpd (특히 Fiona)가 파일과 같은 객체를 허용하는 데 문제가있었습니다.

import geopandas as gpd
import David.SQL_pull_by_placename as sql
import os

os.environ['PROJ_LIB'] = r'C:\Users\littlexsparkee\Anaconda3\Library\share\proj'

geojson_url = f'https://github.com/loganpowell/census-geojson/blob/master/GeoJSON/500k/2018/{sql.state}/block-group.json?raw=true'
census_tracts_gdf = gpd.read_file(geojson_url)

GeoDataFrame.from_features()GeoJSON을 GDF 생성자에 직접 전달하는 대신 문서화되지 않은 것을 사용하여 얻은 결과를 선호합니다 .

import geopandas as gpd
import requests
data = requests.get("https://data.cityofnewyork.us/api/geospatial/arq3-7z49?method=export&format=GeoJSON")
gpd.GeoDataFrame().from_features(data.json())

산출

                       geometry                         name                                url           line objectid                                              notes
0    POINT (-73.99107 40.73005)                     Astor Pl  http://web.mta.info/nyct/service/  4-6-6 Express        1  4 nights, 6-all times, 6 Express-weekdays AM s...
1    POINT (-74.00019 40.71880)                     Canal St  http://web.mta.info/nyct/service/  4-6-6 Express        2  4 nights, 6-all times, 6 Express-weekdays AM s...
2    POINT (-73.98385 40.76173)                      50th St  http://web.mta.info/nyct/service/            1-2        3                              1-all times, 2-nights
3    POINT (-73.97500 40.68086)                    Bergen St  http://web.mta.info/nyct/service/          2-3-4        4           4-nights, 3-all other times, 2-all times
4    POINT (-73.89489 40.66471)             Pennsylvania Ave  http://web.mta.info/nyct/service/            3-4        5                        4-nights, 3-all other times

결과 GeoDataFrame에는 FeatureCollection을 숨길 필요없이 지오메트리 열이 올바르게 설정되고 모든 열이 올바르게 설정됩니다.