수집한 구조화 및 비구조화를 사용하려면 해당 데이터를 처리해야 합니다.
데이터 처리의 가장 간단한 예는 데이터 시각화입니다. 예를 들어,대부분의 분석 보고서는 그래프 형태로 데이터 분석 보고서를 뱉어 낼 수 있습니다. 그러나 그 시점에 도달하기 위해 데이터는 일련의 변환 작업을 거칩니다.
데이터 처리에는 여러 가지 유형이 있는데,이는 다른 요인들 중에서도 가용성,원자성 및 동시성 측면에서 다릅니다.
목차
1. 데이터 처리 방법이 중요한 이유는 무엇입니까?
2. 트랜잭션 처리
5. 분산 처리
3. 실시간 처리
4. 일괄 처리
6. 다중 처리
7. 데이터 처리 준비
데이터 처리 방법이 중요한 이유는 무엇입니까?
사용하는 데이터 처리 방법에 따라 쿼리에 대한 응답 시간과 출력의 신뢰성이 결정됩니다. 따라서,이 방법은 신중하게 선택 될 필요가있다. 예를 들어 증권 거래소 포털과 같이 가용성이 중요한 상황에서는 트랜잭션 처리가 선호되는 방법이어야 합니다.
데이터 처리와 데이터 처리 시스템의 차이를 주목하는 것이 중요하다. 데이터 처리는 데이터가 유용한 정보로 변환되는 규칙입니다. 데이터 처리 시스템은 특정 유형의 데이터 처리에 최적화 된 응용 프로그램입니다. 예를 들어,시분할 시스템은 시분할 처리를 최적으로 실행하도록 설계되었습니다. 너무,일괄 처리를 실행하는 데 사용할 수 있습니다. 그러나,그것은 일을 위해 아주 잘 확장되지 않을 것입니다.
그런 의미에서,우리는 당신의 요구에 맞는 데이터 처리 유형을 선택하는 것에 대해 이야기 할 때,우리는 올바른 시스템을 선택하는 것을 언급하고 있습니다. 다음은 가장 일반적인 데이터 처리 유형 및 해당 응용 프로그램입니다.
트랜잭션 처리
트랜잭션 처리는 미션 크리티컬 상황에서 배포됩니다. 이러한 상황은 중단 된 경우 비즈니스 운영에 부정적인 영향을 미칩니다. 예를 들어,앞서 언급 한 바와 같이 증권 거래소 거래 처리. 트랜잭션 처리에서 가용성은 가장 중요한 요소입니다. 가용성은 다음과 같은 요인에 의해 영향을받을 수 있습니다:
- 하드웨어:트랜잭션 처리 시스템에는 중복 하드웨어가 있어야합니다. 하드웨어 중복성을 사용하면 중복 구성 요소를 자동화하여 시스템을 계속 실행할 수 있기 때문에 부분 오류가 발생할 수 있습니다.
- 소프트웨어:트랜잭션 처리 시스템의 소프트웨어는 오류로부터 신속하게 복구하도록 설계되어야 합니다. 일반적으로 트랜잭션 처리 시스템은이를 달성하기 위해 트랜잭션 추상화를 사용합니다. 간단히 말해서,오류가 발생할 경우 커밋되지 않은 트랜잭션이 중단됩니다. 이를 통해 시스템을 빠르게 재부팅 할 수 있습니다.
분산 처리
매우 자주 데이터 집합이 너무 커서 하나의 시스템에 적합하지 않습니다. 분산 데이터 처리는 이러한 대규모 데이터 세트를 분해하여 여러 컴퓨터 또는 서버에 저장합니다. 그것은 하둡 분산 파일 시스템에 달려있다. 분산 데이터 처리 시스템은 높은 내결함성을 가지고 있습니다. 네트워크의 한 서버가 실패하면 데이터 처리 작업을 사용 가능한 다른 서버에 다시 할당할 수 있습니다.
분산 처리도 비용을 크게 절감할 수 있습니다. 기업은 더 이상 고가의 메인 프레임 컴퓨터를 구축하고 유지 보수 및 유지 보수에 투자 할 필요가 없습니다.
스트림 프로세싱과 배치 프로세싱은 분산 프로세싱의 일반적인 예이며,둘 다 아래에서 논의된다.
오늘 데이터를 통합하십시오!
7 일 동안 많이 무료로 사용해보십시오. 신용 카드가 필요하지 않습니다.
실시간 처리
실시간 처리는 출력이 실시간으로 예상되는 상황에서 사용된다는 점에서 트랜잭션 처리와 유사합니다. 그러나 두 사람은 데이터 손실을 처리하는 방법에 따라 다릅니다. 실시간 처리는 가능한 한 빨리 들어오는 데이터를 계산합니다. 들어오는 데이터에 오류가 발생하면 오류를 무시하고 들어오는 다음 데이터 청크로 이동합니다. 추적 응용 프로그램은 실시간 데이터 처리의 가장 일반적인 예입니다.
이를 트랜잭션 처리와 대조합니다. 시스템 오류와 같은 오류가 발생하는 경우 트랜잭션 처리는 진행 중인 처리를 중단하고 다시 초기화합니다. 대략적인 답변이 충분한 경우 실시간 처리가 트랜잭션 처리보다 선호됩니다.
데이터 분석 세계에서 스트림 처리는 실시간 데이터 처리의 일반적인 응용 프로그램입니다. 먼저 아파치 폭풍에 의해 대중화,스트림 처리는 온다 데이터를 분석한다. 사물인터넷 센서의 데이터를 생각하거나 실시간으로 소비자 활동을 추적할 수 있습니다. 구글 빅 쿼리와 눈송이는 실시간 처리를 사용하는 클라우드 데이터 플랫폼의 예입니다.
일괄 처리
이름에서 알 수 있듯이 일괄 처리는 일정 기간 동안 저장된 데이터 청크가 함께 또는 일괄 적으로 분석되는 경우입니다. 자세한 통찰력을 얻기 위해 대량의 데이터를 분석해야 할 때 일괄 처리가 필요합니다. 예를 들어,일정 기간 동안 회사의 판매 수치는 일반적으로 일괄 처리를 받게 됩니다. 많은 양의 데이터가 관련되어 있기 때문에 시스템에서 처리하는 데 시간이 걸릴 것입니다. 데이터를 일괄 처리하면 계산 리소스를 절약 할 수 있습니다.
배치 처리는 정확도가 속도보다 더 중요한 경우 실시간 처리보다 선호됩니다. 또한 일괄 처리의 효율성도 처리량 측면에서 측정됩니다. 처리량은 단위 시간당 처리되는 데이터의 양입니다.
다중 처리
다중 처리는 두 개 이상의 프로세서가 동일한 데이터 집합에서 작동하는 데이터 처리 방법입니다. 그것은 정확히 분산 처리처럼 들릴 수도 있지만,차이가있다. 다중 프로세싱에서는 서로 다른 프로세서가 동일한 시스템 내에 있습니다. 따라서 그들은 동일한 지리적 위치에 존재합니다. 구성 요소 오류가 있으면 시스템의 속도를 줄일 수 있습니다.
반면에 분산 처리는 서로 독립적이며 서로 다른 지리적 위치에 존재할 수 있는 서버를 사용합니다. 오늘날 거의 모든 시스템은 데이터를 병렬로 처리 할 수 있기 때문에 거의 모든 데이터 처리 시스템은 다중 처리를 사용합니다.
그러나,이 문서의 맥락에서,멀티 프로세싱은 온-프레미스 데이터 처리 시스템을 갖는 것으로 볼 수있다. 일반적으로 매우 중요한 정보를 처리하는 회사는 분산 처리 대신 온-프레미스 데이터 처리를 선택할 수 있습니다. 예를 들어,석유 및 가스 추출 산업에서 일하는 제약 회사 또는 기업.
이러한 종류의 데이터 처리의 가장 명백한 단점은 비용입니다. 건물 및 사내 서버를 유지하는 것은 매우 비싸다.
아마존 적색 편이
우리가 귀하의 데이터를 통합 할 수 있는지 알아보십시오.
전 세계 기업의 신뢰
이 기사를 즐기십니까?
엑스플렌티 뉴스레터와 함께 매주 훌륭한 콘텐츠를 받아보세요!
데이터 처리를위한 데이터 준비
데이터를 처리하고 분석하기 전에 준비해야하므로 알고리즘으로 읽을 수 있습니다. 원시 데이터는 처리를 위해 데이터 웨어하우스로 이동하려면 추출,변환,로드를 거쳐야 합니다. 분석을 위해 데이터를 준비하는 작업을 많이 단순화합니다. 클라우드 플랫폼을 사용하면 몇 분 안에 데이터 파이프라인을 구축할 수 있습니다. 간단한 그래픽 인터페이스는 복잡한 코드를 작성할 필요가 없습니다. 데이터 웨어하우스와 데이터 웨어하우스의 통합 지원을 즉시 이용할 수 있습니다. 또한 빠른 사용자 지정 및 유연성을 위해 아피스를 사용할 수 있습니다.
많이 사용하면 데이터를 처리하는 데 더 적은 시간을 소비 할 수 있으므로 분석 할 시간이 더 많습니다. 데모를 예약하고 자신을 위해 우리의 낮은 코드 플랫폼을 경험하여 자세히 알아보십시오.