데이터베이스? 매우 흥미로운 없습니다.
따라서 데이터 시각화 또는 데이터 시각화를 사용하는 일반인은 생각할 수 있습니다. 나는 데이터베이스가 세계에서 가장 섹시한 것은 아니라는 것을 인정해야하지만,(공간적)데이터로 분석 또는 시각화를 더 심각한 방식으로 주장(또는 목표로)한다면,당신은 분명히 그들을 무시해서는 안됩니다. 이 블로그 게시물이 공간 데이터베이스의 효율적인 사용이 어떤 종류의 이점을 제공 할 수 있는지 아이디어를 줄 수 있기를 바랍니다.
과대 광고 용어 와서 거기에 가서 빅 데이터 주위에 큰 과대 광고는 여전히 불과 몇 년 전,하지만 지금은 천천히 사라져 가고있다. 음,데이터는 여전히 크고 실제로 그 어느 때보 다 큽니다. 파일 크기가 증가하고”데이터 과학”및 지구 과학에서 사람들은 쉽게 기가 바이트 범위에있을 수있는 데이터를 처리해야합니다. 데이터가 클수록 데이터를 저장하고 분석하는 방식에 더 많은 관심을 기울일 필요가 있습니다.
데이터베이스가 그림에 들어오는 곳입니다.
소프트웨어 개발에서 데이터베이스 작업은 필수입니다. 그러나 컴퓨터 과학의 다른 하위 도메인에있는 사람들을 위해(지사 등)데이터베이스의 장점은 항상 분명하지 않을 수 있습니다. 물론 사람들은 목표를 달성하는 가장 효율적인 방법은 아니지만 가장 친숙한 도구를 사용하는 경향이 있습니다. 그러나 때때로 당신의 안락 지대에서 스테핑 정말 당신에게 큰 혜택을 가져올 수 있습니다. 나는 나 자신이 천천히 공간 공간에있는 잠재력을 실현하고있다.
이 블로그 게시물은 주로 지리 공간 데이터로 작업하는 사람들을 대상으로하지만 포스트를 건드리지 않았거나 들어 본 적이 없습니다. 나는 그것을 설치 하는 방법을 통해 갈 거 야,하지만 오히려 시도 하 고 그것에 대 한 좋은 무엇 이며 무엇의 개요를 제공.
내 워크플로우와 예제는 주로 큐지스+포스트지스 조합에 초점을 맞추고 있지만,포스트지스,자신의 코드 또는 다른 포스트지스 클라이언트와 함께 작업할 수도 있다는 점에 유의해야 한다.
포스트…
나는 이미’포스트기스는 포스트그레스의 공간적 확장이다’라는 말을 여러 번 들었다. 나는 그것이 무엇을 의미하는지 전혀 알지 못했다. 나는 공간 확장은 말할 것도없고,포스트 그레스가 무엇인지 단서가 없었다.
가능한 한 간단하게 브레이크를 밟아 봅시다.
어떤 사람들은이 비교를 위해 나를 싫어 수도 있지만 나는 위험을 감수 할 것이다:당신은 데이터베이스와 함께 일한 적이 있다면,당신은 거대한 엑셀 시트로 데이터베이스 테이블 생각할 수 있습니다. 그러나 당신이 밀리 초에 행 번호 433 285 의 세 번째 열에 어떤 값을 찾을 수있는 곳에서 대규모 지능형 엑셀 시트. 그리고 시트 내부의 함수를 단일 셀에 쓰는 대신 해당 함수를 명령 창에 씁니다. 그래서 데이터를 저장할 수있는 장소와 효율적으로 얻을 수있는 곳.
그래서 포스트 그레 스(일명 포스트 그레스)는 데이터베이스이고 포스트 기스는 그 데이터베이스에 대한 추가 기능과 같습니다. 그러나 생물 과학과 같은 다른 분야에 대한 어플리케이션도 있습니다..
간단히 말해서 포스트기스는 거리,면적,합집합,교차점 및 특수 형상 데이터 유형과 같은 공간 함수를 포스트길에 추가합니다.공간 데이터베이스는 데이터베이스의 다른 개체와 마찬가지로 공간 개체를 저장하고 조작합니다.
따라서 일반 데이터베이스에서는 다양한 유형(숫자,텍스트,타임 스탬프,이미지…)의 데이터를 저장하고 필요할 때 데이터로 질문에 답하기 위해 쿼리(가져 오기)할 수 있습니다. 질문은’얼마나 많은 사람들이 귀하의 웹 사이트에 로그온했는지’또는’온라인 상점에서 얼마나 많은 거래가 이루어 졌는지’에 관한 것일 수 있습니다. 공간 함수는 대신’가장 가까운 가게가 얼마나 가까운가’,’이 지역 안에있는이 지점입니까’또는’이 나라의 크기는 얼마입니까’와 같은 질문에 대답 할 수 있습니다.
따라서 데이터는 행과 열에 저장됩니다. 데이터에는 공간 참조 식별자에 의해 정의된 특정 좌표계의 데이터가 있는 지오메트리 열도 있습니다. 그러나 공간 데이터에 주로 포스트기스를 사용하게 되더라도,비공간 데이터를 저장할 수도 있다는 것을 기억하세요.
뛰어난 무한 포스트기스 소개는 공간 데이터를 데이터베이스와 연관시키는 세 가지 핵심 개념을 소개합니다. 이러한 결합은 최적화 된 성능 및 분석을위한 유연한 구조를 제공합니다.
- 점,선 및 다각형과 같은 공간 데이터 유형. 다차원 공간 인덱싱은 공간 연산의 효율적인 처리를 위해 사용된다.
“구조화 된 쿼리 언어”는 관계형 데이터베이스의 데이터를 질문하고 업데이트하는 수단입니다. 질문하는 데 사용하는 선택 쿼리는 일반적으로 다음 형식의 명령입니다.
SELECT some_columns FROM some_data_source WHERE some_condition;
이러한 명령은 데이터베이스에 로그인한 후 명령줄에 작성합니다. 그래서 예,당신은 정말로 무언가를 써야합니다. 오른쪽 클릭은 일반적으로 과소 평가 될 수 있지만 코드를 작성하지 않는 사람에게는 자신의 명령을 작성하고 나중에 코드를 작성하는 좋은 첫 번째 단계입니다.
포스트지스 외에 다른 공간 데이터베이스도 있다. 공간 데이터를 관리하고 분석하기 위한 몇 가지 다른 옵션이 있습니다. 그러나 포스트 기스는 더 많은 기능과 일반적으로 더 나은 성능을 가지고 있다고합니다. 또한 언급 된 다른 것들(지오 메사 제외)은 오픈 소스가 아닙니다.
당신이 이것에 새로운 경우에,지금 당신은 혼동 될 수 있습니다: 그래서 데이터를 저장하는 장소 그리고 당신은 명령 줄에 몇 가지 이상한 물건을 작성하여 복잡한 방법으로 정보를 얻을 수있다? 기다려 당신이 정말로 그것을 커밋하는 경우 포스트 기스가 제공 할 수있는 몇 가지 실제 혜택도 있습니다.
나는 트위터에서 블로그 게시물에 대한 몇 가지 아이디어를 요청하고 좋은 피드백을 많이 얻었다. 거기에서 나는 이것을 두 부분으로 나누는 아이디어를 얻었다. 첫 번째 부분에서는 포스트 기스가 일상 업무에 가져올 수있는 이점을 살펴볼 것입니다. 두 번째 부분에서는 공간적 차이에 더 초점을 맞출 것입니다.
포스팅은 새로운 작업 방식을 채택 할 수 있습니다. 이 새로운 방식은보다 쉽게 재현 할 수 있으며 버전 제어를보다 쉽게 사용할 수 있으며 다중 사용자 워크 플로우를 활성화 할 수 있습니다.
파일은 종종 읽고 쓰기 위해 특별한 소프트웨어가 필요합니다. 임의의 데이터 액세스 및 분석을위한 추상화입니다. 이러한 추상화가 없으면 작업을 수행하기 위해 특정 소프트웨어가 필요하거나 모든 액세스 및 분석 코드를 직접 작성해야합니다.
임의의 매개 변수가있는 임의의 도구를 사용하여 파일에 대해 임의의 작업을 수행하는 대신 분석을 수행하면 결과를 더 쉽게 공유하고 재현 할 수 있습니다. 현재 어딘가에 하나의”마스터 셰이프 파일”이있을 수 있습니다.이 곳에서 셰이프 파일에 여러 공간 조인 및 클립 작업을 수행하여 있어야 할 것처럼 만들 수 있습니다. 만약 그것이 사라진다면?
조니는 자신이 실수로 자신의 모든 데이터를 삭제 한 방법에 트위터에 좋은 예를 썼다,하지만 그는 자식에 저장 한 스크립트와 최소한의 노력으로 재현 할 수 있었다.
소프트웨어 개발 작업을하는 사람들은 아마도 버전 제어에 익숙 할 것입니다. 나는 이 블로그 포스트에서 그것에 더 깊이 들어가지 않을 것이다,그러나 당신은 힘내 같이 버전 관리 체계에서 당신의 데이터베이스 원본을,가지고 있을 수 있다(그리고 당신은 해야 한다). 당신이 당신의 책장에 보관하고 지속적으로 항상 맛있는 데이터 분석을위한 최고의 조리법을 찾기 위해 업데이트 요리 책으로 생각하십시오. 당신의 집이 불타 경우에만 다시 아마존에서이 정확한 요리 책의 새 복사본을 구입할 수 있습니다.
데이터베이스는 또한 공간 데이터를 더 나은 순서로 유지하는 데 도움이 될 수 있습니다. 그러나 여전히 데이터베이스는 파일(예:테이블의 데이터 유형을 표준화하여)보다 데이터 구조를 표준화 할 수있는 더 나은 기회를 제공합니다.
그리고 그 큰 데이터 세트는 어떻습니까? 공간 데이터베이스를 사용하면 큰 데이터 집합으로 작업 할 수 있습니다. 뿐만 아니라 쉽게,하지만 때로는 데이터베이스 없이 더 큰 데이터 집합에 대 한 작업을 거의 불가능 합니다. 혹시 2 기가 바이트 파일을 열려고 했습니까? 또는 8 백메가바이트 거즌에 대한 몇 가지 지오 처리를 할 시도? 당신은 셰이프 파일의 크기 제한이 있다는 것을 알고 계십니까? 물론 지리 패키지 또는 다른 파일 형식을 사용하여 이러한 문제 중 일부를 해결할 수 있지만 일반적으로 포스트 기스는 큰(지리 공간)데이터를 처리하기위한 최적의 도구입니다.
데이터베이스와 하나의 아주 좋은 기능은 더 쉽게 당신이 일반적으로 수동으로 수행하는 프로세스를 자동화 할 수 있다는 것입니다. 예를 들어,게시글 알림 기능을 사용하여 검색결과를 자동으로 업데이트할 수 있습니다. 이 응용 프로그램은 당신이 당신의 안드로이드 장치에 필요한 모든 것을 갖추고 있습니다.
당신이 나를 좋아하지 않는다면(나는 현재 내 자신과 재미를 위해이 일을한다),당신은 팀이라는 것을 가질 수있다. 또한 동료로 알려진. 그들은 당신과 같은 데이터에 액세스 할 필요가있을 수 있습니다. 워크플로에서 데이터베이스를 사용하면 공유 드라이브에 파일이 있는 것과는 완전히 다른 수준에서 병렬 작업을 수행할 수 있습니다.
한 가지 주된 이유는 동시 사용자가 손상을 일으킬 수 있기 때문입니다. 동일한 파일에 여러 개의 쓰기가 데이터를 손상시키지 않도록 추가 코드를 작성할 수는 있지만 문제를 해결하고 관련 성능 문제를 해결할 때까지는 데이터베이스 시스템의 더 나은 부분을 작성했을 것입니다.
물론 새로운 워크 플로우를 채택하는 데 장단점이 있습니다. 하루를 마감하면서 파일을 순서대로 유지하는 것과 마찬가지로 데이터베이스를 유지하는 것도 많은 작업이 될 수 있습니다. 이 트위터에 지적 된 바와 같이 예를 들어,새 버전으로 포스트 기스를 업데이트하는 것은 진짜 고통이 될 수 있습니다. 큰 힘으로 큰 책임이 온다.
그러나 그 힘 부분에 대해 더 이야기합시다.
파트 2:공간 데이터베이스
공간 데이터베이스
제 2 부:공간 데이터베이스
공간 데이터베이스
제 2 부:공간 데이터베이스
이 비교를 위해 핀란드의 우편 번호 데이터와 각 우편 번호 영역의 인구가있었습니다. 나는 이것을 내 로컬 데이터베이스의 쉐이프 파일과 테이블로 가졌다. 모집단을 나타 내기 위해 각 다각형 안에 임의의 점을 만들었습니다. 이 응용 프로그램을 사용하여,당신은 당신이 원하는 것을 찾을 수 있습니다.:
SELECT ST_GeneratePoints(geom, he_vakiy) from paavo.paavo
이전 그래프에서 볼 수 있듯이 포스트지스는 큐지스 및 셰이프파일에 비해 동일한 분석을 수행하는 데 10%미만의 시간이 소요되었습니다. 당신이 지스 분석가이고 매일 이와 같은 프로세스를 수행한다면 1 년 안에 많은 시간을 절약 할 수 있습니다.
빠른 처리 외에도 포스트기스가 제공하는 다양한 공간 기능을 즐길 수 있습니다. 어떤 함수가 당신에게 가장 유용한지는 전적으로 사용 사례에 달려 있습니다. 보로노이 분석 및보다 전통적인 지스 분석(버퍼,오버레이,교차,클립 등)외에도.)당신은 더 진보 된 일을 할 수 있습니다:
- 라우팅. 경로 지정 및 도로 데이터를 사용하면 최적의 경로를 찾고 다양한 네트워크 분석을 수행 할 수 있습니다.
- 폴리곤 스켈레톤화. 이 기능을 사용하면 다각형의 내측 축을 즉석에서 작성할 수 있습니다.
- 추가 처리를 위해 지오메트리를 분할하면 프로세스 속도를 크게 높일 수 있습니다.
- 클러스터링. 데이터에서 클러스터 및 패턴을 찾습니다. 인공지능 과대 광고가 절정에 이르렀을 때,케이-수단은 이전보다 훨씬 더 흥미로울 수 있습니다…
당신은 무엇을 위해 다각형 스켈레톤 화와 같은 물건이 필요합니까? 대부분의 유효한 질문 수 있습니다,하지만 한 번 당신의 공간 분석을 필요로 할 때,당신은 누군가가 당신을 위해 노력(=수학)을 수행 한 것을 매우 기뻐할 것입니다. 함께 다른 공간 기능을 결합하고 포스트 그레스 내장 기능을 사용하여 당신이 당신의 데이터베이스에 고급 공간 분석을 수행 할 수 있습니다 그들과 함께.
복잡하고 흥미로운 질문(공간 조인,집계 등)은 데이터베이스의 한 줄로 표현할 수 있는 많은 계산 능력을 필요로 합니다. 자신의 코드로 동일한 질문에 대답하면 파일에 대해 프로그래밍 할 때 수백 줄의 특수 코드가 필요할 수 있습니다.
데이터비즈 포스트지스
내 포트폴리오에 있는 많은 시각화에서 포스트지스는 시각화 프로세스에서 어떤 역할을 해왔다. 내 워크플로우에서 가장 자주 데이터를 사전 처리한 다음 실제 시각화를 수행합니다.
이러한 프로세스 중 하나의 예를 살펴 보겠습니다.
위의 기차와 보로 누아에 대한 애니메이션은 포스트기스의 힘에 대한 장난스런 예를 제공합니다. 내 로컬 데이터베이스에 몇 백만 개의 기차 지점이 있었고 이미 포인트가 움직이는 애니메이션을 만들었습니다. 그러나 나는 보로 노이 라인을 가진 애니메이션이 어떻게 보일지 테스트하고 싶었습니다.
먼저 각 열차에 대해 분당 여러 개의 지점이 있었기 때문에 열차마다 1 분마다 하나의 대표 지점을 갖도록 그룹화하고 싶었습니다. 먼저 결과 점에 대해 수동으로 테이블을 만들었습니다. 나는 다음 쿼리를 썼다
INSERT INTO trains.voronoipoints
SELECT '2018–01–15 09:00:00' AS t,
geom
FROM (SELECT St_centroid(St_collect(geom)) AS geom,
trainno
FROM (SELECT geom,
trainno
FROM trains.week
WHERE time > '2018–01–15 09:00:00'
AND time < '2018–01–15 09:01:00') AS a
GROUP BY trainno) AS b
우리가 조각 쿼리를 브레이크 다운하면 우리는 퍼즐의 다음 조각을 볼 수 있습니다:예를 들어,주 테이블에 있는 열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열 이름,열1 분 안에 추적되는 모든 지점을 선택하기 때문에 각 열차에 대해 몇 가지 포인트를 얻을 수 있습니다. 나는 단지 하나를 원했고,그래서 보로 노이 라인이 더 현명하게 보일 것입니다. 그래서 점들을 함께 그룹화하고 점들로부터 다점 지오메트리를 만드는 데 사용합니다. 이 데이터는 열차 번호별로 그룹화됩니다.
같은 일을 여러 번 수행하기 위해 시작 시간과 종료 시간을 매개 변수로 몇 백 번 동일한 쿼리를 반복 할 수있는 간단한 파이썬 스크립트가 있습니다. 각 분에 대해 하나의 대표 지점을 성공적으로 찾은 후 다음 명령을 실행했습니다(11.5 초).:
SELECT t, ST_VoronoiLines(geom) from trains.voronoipoints
그런 다음 결과를 큐지스에 추가하고 시간 관리자로 시각화했습니다. 그러나 나는 여전히 그 결과에 매우 만족한다. 그것은 무의미 할 수도 있지만.
결국 매우 간단하지만 결과는 더 높은 수준의 수학처럼 보입니다(그리고 그것은!),모든 하드 작업은 포스트 기스에 의해 이루어집니다. 또한 열차 당 한 지점에 대해서만 보로 노이 분석을 할 수 있었기 때문에 처리 시간은 수십만 점에 불과했습니다.
데이터 양이 증가함에 따라 쿼리 처리 시간이 기하급수적으로 증가하는 경우가 많습니다. 이런 이유로 당신은 당신의 질문에 똑똑해야 한다.
일반적으로 쿼리가 가져와야 할 데이터가 많고 데이터베이스가 수행해야 할 작업(순서 지정,그룹화 등)이 많을수록 속도가 느려지므로 효율성이 떨어집니다. 효율적인 쿼리는 실제로 필요한 행과 열만 가져옵니다. 당신이 정말로 당신이 달성하고자하는 것을 철저하게 생각해야 논리 퍼즐처럼 작동 할 수 있습니다.
또한 쿼리의 성능을 조정하는 것은 미끄러운 경사이며 끝없는 최적화의 세계에서 길을 잃을 수 있습니다. “최적의 쿼리”와 최적의 쿼리 간의 균형을 찾는 것이 정말 중요합니다. 당신은 백만 사용자를위한 응용 프로그램을 구축하지 않는 경우 특히,여기에 몇 밀리 초 또는 아마 당신의 배를 바위가 없습니다.
어떻게 시작합니까?
나는 감히 말하는 학습 SQL 은 더욱 더 유익한 평균에 대한 GIS 사용자 배우는 것보다 자바스크립트,또는 파이썬 R.SQL 구문을 사소한 변화만 했다고 SQL 기술을 아주 잘 양도할 수 없습니다.
나는 학습 곡선이 기본을 수행 할 정말 가파른 아니라는 것을 발견했다,하지만 정말 당신의 공간 분석에 가져올 수있는 혜택을 볼 수있는 시간이 걸릴 수 있습니다. 그러나 나는 인내심을 갖고 더 복잡한 분석을 시도하고 더 빠른 처리를 목표로하는 것이 좋습니다. 결국 당신은 차이를 볼 수 있습니다.
먼저 열 선택,결과 집합 정렬 및 행 필터링과 같은 기본 데이터 선택 기술을 사용하여 단일 테이블에서 데이터를 쿼리하는 방법을 배웁니다. 그런 다음 여러 테이블 조인,집합 연산 사용 및 하위 쿼리 구성과 같은 고급 쿼리에 대해 배웁니다. 마지막으로 새 테이블 만들기 또는 기존 테이블의 구조 수정과 같은 데이터베이스 테이블을 관리하는 방법을 배웁니다.
하지만 당신을 도울 수있는 도구도 있습니다!
이것은 수학적으로 정확한 유형 계층구조인,강력한 타입을 정의합니다. 테이블을 수정 및 추가하고,인덱스를 추가하고,마우스 오른쪽 버튼으로 클릭 할 수있는 방식으로 많은 기본 작업을 수행 할 수 있습니다.
포스트기스에 데이터를 가져오는 방법에는 여러 가지가 있습니다. 일반적으로 나는 다른 도구와 데이터 작업의 방법을 시도하는 것이 좋습니다.
나는 파이썬과 포스트기스를 결합하는 몇 가지 작은 실험을했다. 파이썬(또는 아르 자형)과 포스트 기스와 함께 작업하는 것은 정말 다음 단계로 데이터 처리 및 자동화를 취할 수 있습니다. 파이썬의 기본 스크립팅 기능을 결합하고 사이콥 2 를 사용하여 포스트기스에 연결하는 것만으로도 시작할 수 있는 좋은 방법입니다.
포스팅을 시작하고 싶으신가요?
- 그냥 설치 프로그램을 다운로드하고 로컬 컴퓨터에 포스트를 설치합니다. 자습서의 지침을 따르십시오.
- 이 자습서에서는 자연 지구 데이터를 포스트지에 가져오는 방법에 대해 설명합니다.
- 기본(선택,필터링 및 데이터를 수정)로 시작하고 천천히 당신은 당신의 워크 플로우에 가져올 수있는 혜택의 종류를 볼 수 있습니다.
결론
작업 방식이 현재 비효율적이라면 도구를 변경한다고해서 결과가 나아지거나 프로세스가 덜 고통스럽지 않을 것입니다. 데이터 관리에 대해 생각하는 방식을 변경해야 합니다. 데이터베이스를 비효율적으로 사용하는 방법에는 여러 가지가 있습니다. 나를 믿어 라,나는 그들을 보았고 심지어 몇 가지를 시도했다.
또한 변화를 위해 사물을 바꾸는 것은 의미가 없습니다. 당신의 일상 업무가 맵에 몇 개의 점만 그려져 있다면,당신은 미래에 쉐이프파일과 파일도 함께 할 수 있습니다. 그런 식으로 더 효율적 일 수도 있습니다.
하지만.
몇 가지 심각한 공간 분석을 수행하거나 프로세스를 자동화하거나 어떤 방식 으로든 스패 탈 데이터 작업 방식을 다음 단계로 옮기고 싶다면 포스트지스 및 특히 공간 데이터베이스와 친숙해질 것을 강력히 권장 할 수 있습니다. 학습도 재미있을 수 있습니다. 진심으로.
마지막 하지만 확실히 적어도. 톰이 지적한 바와 같이:포스트 기스를 사용하면 지오 힙스터 신임을 얻을 수 있습니다!
내가 간단히 언급 한 한 가지는 포스트기스가 오픈 소스이며 자유롭게 사용할 수 있다는 것입니다. 즉,작거나 전혀 예산 작업 하는 사람들(나 같은)항목의 장벽이 있다. 상업용 공간 데이터베이스는 상당히 비쌀 수 있습니다. 큰 감사는 프로젝트에 작업 활성 개발자의 모든 간다!
읽어 주셔서 감사합니다! 나에 대한 자세한 내용은 내 웹 사이트를 확인하거나 나에게 트위터에 코멘트를 던져.
더 알고 싶으십니까? 이 블로그 게시물과 추가 게시물 읽기
에 대한 출처. 포스트 기스 문서는 정말 좋습니다.
포스기스 구루 폴 램지는 자신의 사이트
포스기스 소개에 대한 인피니트의 훌륭한 자료에서 다양한 관점에서 주제에 대한 여러 가지 프레젠테이션을 하고 있다.
아니타 그레이저는 포스트기스에서 이동 데이터를 처리하는 것에 대한 훌륭한 일련의 블로그 게시물을 작성했습니다.