대부분의 기업들은 생산 데이터가 지닌 잠재력을 제대로 활용하지 못하고 있다. '데이터 스트리밍'은 데이터를 실시간으로 활용하고 인공지능 프로젝트를 빠르게 실행하는 게임체인저가 될 수 있다. 데이터 스트리밍이 실제로 어떻게 작동하며, 어떤 점이 중요한지 자세히 알아보자.

생산 현장에 넘치는 데이터

생산 기업에는 데이터가 넘쳐난다. 이는 기계, 센서, 카메라 시스템 등 다양한 곳에서 생성된다. 이 데이터를 서로 연결하면 이론적으로 매우 유용한 정보를 얻을 수 있으며, 특히 인공지능(AI) 적용에 있어 핵심적인 역할을 한다. AI는 학습과 합리적인 결정을 위해 대규모 데이터를 필요로 한다. 하지만 생산 데이터는 재무나 마케팅 데이터에 비해 고유한 특성을 가지고 있어 표준화된 처리가 어렵다. 이는 여러 가지 이유에서 기인한다. 우선, 생산 데이터는 물리적인 생산 공정과 밀접하게 연관되어 있으며 실시간으로 수집되고 사용된다. 이로 인해 데이터는 매우 역동적이고 변화가 빠르며, 편차에 즉각 대응해야 하는 특성이 있다. 또한 생산 데이터는 기계와 공정에 따라 달라지기 때문에 경제성과 품질 확보를 위해 매우 정밀하게 수집되어야 한다. 출처가 다양한 탓에 데이터는 복잡하고 이질적이며, 추적 가능성과 법적 규제를 위해 아카이빙이 요구된다. 이러한 복잡한 상황 속에서 다음과 같은 질문을 던지게 된다. 오늘날 제조업은 이러한 생산 데이터를 얼마나 활용하고 있는가?

현황: 생산 데이터의 처리 수준

실제 프로젝트에서는, 독일 기업들이 AI 도입을 위한 기본 전제로서 양질의 생산 데이터를 보유하고 있는 경우가 많다. 하지만 문제는 데이터를 충분히 이해하지 못하고 있다는 점이다. 이로 인해 현재 많은 가능성 검토(Feasibility Study)가 진행되고 있지만, 실제 현장 적용으로 이어지는 경우는 드물다. 산업용 IoT를 위한 인프라의 성숙도도 매우 다양하다. 대부분 수집된 데이터로부터 실제 가치를 창출할 수 있는 기반이 부족하다. 반면 고객 요건은 예측 가능한 품질과 최적의 운영 파라미터에 대한 높은 기대치를 보인다. 따라서 실질적인 가치 창출로 이어지기 위해 데이터 처리와 인프라는 어떤 조건을 갖추어야 하며, 데이터 스트리밍은 어떤 역할을 하는가?

IT 인프라: 데이터 스트리밍의 기반

AI 프로젝트는 올바른 IT 인프라와 생산 데이터 스트리밍을 통해 빠르고 수익성 있게 실현될 수 있다. 생산 데이터를 효율적으로 처리하려면, 인프라는 몇 가지 핵심 요건을 충족해야 한다. 구조는 가급적 단순해야 하며, 유연한 데이터 구조를 허용해야 한다. 원시 데이터를 저장하는 한편, 이를 다양한 애플리케이션에서 실시간으로 사용할 수 있어야 한다. 또한 생산 현장의 데이터 교환, 즉 기계 간 또는 시스템 간 통신을 위해 표준화된 데이터 전송 방식이 중요하다. 실제 산업 현장에서는 주로 OPC-UA(Open Platform Communications Unified Architecture)와 MQTT(Message Queuing Telemetry Transport)가 많이 사용된다.

OPC-UA는 산업 자동화 영역에서 기원한 표준으로, 클라이언트-서버 방식의 1:1 통신을 통해 제조사나 플랫폼에 구애받지 않고 데이터를 교환할 수 있게 한다. 반면에 MQTT는 IoT 환경에서 개발된 경량 메시지 프로토콜로, 퍼블리셔(Publisher)가 데이터를 전송하면 구독자(Subscriber)들이 이를 수신하는 구조를 갖는다. MQTT는 구조가 간단하고 속도 면에서도 유리하여 생산 디지털화에 매우 적합하다.

스트리밍 vs. 배치 처리

시스템 간 데이터 전송 방식에 있어선 배치(Batch) 처리와 스트리밍(Stream Processing) 방식이 구분된다. 배치 방식은 일정량의 데이터가 모인 후 일괄 처리되므로 시스템이 항상 연결되어 있을 필요는 없다. 이는 장애나 업데이트 시 유리하다. 반면에 스트리밍은 데이터를 실시간으로 연속 처리하므로 많은 연산 자원이 필요하지만, 대량 데이터를 지속적으로 처리할 수 있어 AI 적용에 훨씬 적합하다. 데이터는 수집된 후 통일된 형식으로 정형화(schematizing)되며, 이를 통해 향후 AI 분석을 위한 넓은 데이터 기반이 형성된다.

드림팀: 인공지능과 데이터 스트리밍

적절한 인프라가 갖춰지면, 기업은 AI와 데이터 스트리밍의 결합을 통해 생산 데이터를 최대한 활용할 수 있다. 이 조합은 생산 현장에서 여러 이점을 제공한다. 먼저, 빠르고 중앙 집중화된 데이터 처리를 통해 여러 생산 라인과 공장을 동시에 감시하고 제어할 수 있어 확장성이 향상된다. 새로운 생산 라인이 추가될 경우, AI 시스템도 이에 적응할 수 있다. 또한 AI는 실시간 데이터 스트림을 분석하여 즉각적으로 반응할 수 있어 공정 최적화, 오류 수정, 예지 정비 등이 가능하다. 무엇보다도 AI와 스트리밍의 조합은 매우 유연하며, 생산 현장의 요건에 따라 손쉽게 조정하고 적용이 가능하다.

기술만으로는 부족하다: 현장 지식도 중요

이러한 이점을 기업이 실제로 누리기 위해서는 AI 및 데이터 인프라 외에도 생산 공정에 대한 깊은 이해가 필요하다. 예를 들어 AI가 어떤 결함(균열, 뒤틀림 등)을 중점적으로 감지해야 하는지, 어떤 파라미터(예: 표면 상태)를 추적해야 하는지, 학습시키기 위해서는 도메인 전문지식이 필수적이다. 내부에 해당 지식이 부족하다면, 생산 공정과 AI에 모두 정통한 외부 파트너와 협업하는 것도 좋은 선택이 될 수 있다.

적용 사례: 스마트 용접

데이터 스트리밍과 AI의 결합은 볼트 리프트 용접(Bolzenhubschweißen) 분야에서 좋은 사례를 보여준다. 과거에는 생산 정지를 수작업으로 점검해야 했으나, 현재는 설비의 가동 중지 시간을 줄이고 최적의 용접 파라미터를 예측하는 것이 목표다. 입력 데이터는 MQTT를 통해 스트리밍되는 기계 데이터, 자재 및 볼트 배치 정보, 환경 파라미터(온도, 습도 등)이다. AI는 전문가 시스템으로서 거의 실시간으로 용접 품질을 감시하고 최적화할 수 있다. 생산 데이터에 대한 자동 라벨링도 AI가 수행한다. AI는 용접 설비의 주요 파라미터를 예측하여 정지 시간을 줄이고, 불량률을 낮추며 수작업 모니터링을 대체할 수 있다. 또한 이 공정은 다양한 제조사 및 공장에 적용 가능하며, 데이터 전송의 누락 없이 글로벌 확장도 가능하다. 제조사 간 데이터 전처리도 자동화되어 수작업보다 훨씬 효율적이다.

데이터 스트리밍과 AI의 선순환 시스템

데이터 스트리밍은 기업이 AI를 가능성 검토 단계에서 실제 현장 적용 단계로 옮기기 위한 핵심 기반이다. 스트리밍을 통해 다양한 소스에서의 데이터를 실시간으로 확보할 수 있고, 이를 통해 AI 시스템은 지속적으로 학습하여 실전에 빨리 투입될 수 있다. 데이터 스트리밍과 AI는 함께 작동하면서 생산 최적화와 데이터 기반 의사결정을 촉진하는 선순환 구조를 만들어낸다. 적절하게 활용하면, 데이터 스트리밍과 인공지능은 서로를 강화하는 강력한 시스템으로 작용할 수 있다.