Our Mission
home
About
home

12. APP 서비스 및 5G 성능 분석을 위한 영상/이미지 분석 기술 개발

분야
5G
AI
Video/Image Processing
세부 설명
■ 연구 내용 - Android/iOS 기반 App서비스 성능평가 Automation 위한 실시간 영상 분석 기법 연구 및 개발 ■ 연구 목적 - 단말 비디오 프레임을 분석하여 시각적 아티팩트를 감지하는 테스트 케이스 연구 및 개발 ■ 활용 계획 - SK ICT App 중 Unreal, Unity, Corona 기반 서비스 품질 분석 시 검토 및 적용 - 고객의 사용성 관점에서 5G 서비스 성능/이슈 분석 활용 ■ 관련 경험/역량 - 프로그래밍 경험이 있으신 분 (Java, Python) - 동영상 내 이미지 인식 기술 개발 경험이 있으신 분 (OpenCV, ImageMagick 등) - Appium, XCuiTest 기반 Mobile Application 테스트에 관심이 있으신 분
과제 번호
12

01 멘토 소개

호용환

WatchMAN+ 개발
Test Automation Engine / N/W 정보 연동 품질 측정 기술 개발, 솔루션 개발 PM
Online Video Platform (VCase) 개발
Streaming Protocol 변환 Engine / NVoD Engine 개발, Platform 설계 및 PM
Contents Aware Cache 시스템 개발
Cache Engine / Elastic Contents Router 개발, 시스템 설계 및 개발 PM

권정일

단말 Data Protocol 개발
Android Mobile Data 연동개발
단말 QA 검증 자동화 Tool 개발
시나리오 인식 결과 분석 시스템/ HDV RTCP 정합성 분석 시스템
Packet Simulator 개발
Packet 흐름 제어를 통한 서비스 분석 시스템 개발
서비스 품질 Data 수집 및 시각화
NW Data 기반 단말별 품질 비교

이연주

WatchMAN+ 개발
Java/Spring boot API 개발 및 운영
Typescript/React UI 개발
참여 프로젝트
부비동 영상 데이터를 활용한 인공지능 모델 개발 참여
KoNLP를 활용한 채용 공고 정보 데이터 분석 및 시각화

02 프로젝트 소개

Network 및 단말의 성능이 고도화 되며, 고객의 사용성 관점에서 성능/이슈 분석이 중요해지고 있습니다. 특히, 5G 서비스 발전과 함께 다양한 형태의 App서비스들이 개발되고 있고, 이와 연계된 5G 서비스의 안정성 확보도 매우 중요한 상황입니다. 이를 위해 SKT에서는 App 성능 분석 자동화 솔루션인 WatchMAN+를 개발하여 운영 중입니다. 이번 프로젝트에서는 App 서비스의 원활한 고객 사용성 개선을 위해 WatchMAN+와 연동하여 App 동작 영상을 기반으로 이미지를 분석하여 시험 자동화 및 정량적 성능 측정을 진행하고자 합니다.
현재 SK ICT App 들은 다음과 같은 과정으로 기능 테스트 및 테스트 데이터 기반 데이터 분석을 진행하고 있습니다.
어떤 시각적 아티팩트가 나왔는지를 기준으로 특정 이벤트 발생 (예시 - 의상 버튼 클릭)
어떤 시각적 아티팩트가 나왔는지를 기준으로 특정 이벤트 발생여부 확인 (예시 - 의상 변경 여부)
어떤 시각적 아티팩트가 나왔는지를 기준으로 특정 이벤트 발생 시간 측정 (예시 - 의상 변경 시 걸린 시간)
저희는 아래와 같은 기술을 개발하고자 합니다.
실시간으로 단말에 저장된 동영상에서 특정 시각적 아티팩트가 표출될 때까지 걸리는 시간을 측정하는 기술이 필요합니다.
단말의 영상을 실시간으로 전송하고 실시간으로 영상을 분석하는 기능
고객의 행동 패턴 기반 화면에서 선택가능한 영역을 구분하여 찾아내는 기능
영상에서 특정 이미지가 나타날 때 까지의 시간을 분석하여 측정하는 기능
Image Recognition, Image Comparison 를 통해 개발된 기술을 활용하여 Mobile App 화면에서 시각적 아티팩트를 찾는 방식을 크게 개선하고자 합니다.
이번 5기 Fellows는 다음과 같은 경험을 할 수 있습니다.
실시간 영상 분석에 기반한 스마트폰 제어 및 품질 검증 자동화 시스템 구축 경험할 수 있습니다.
실제 App 서비스 품질 검증 프로세스에 직접 참여해 볼 수 있습니다.
SK ICT 서비스 중 Game Engine(Unreal, Unity, Corona) 기반 App Automation에 기여할 수 있습니다.

03 이런 Fellows를 찾습니다

프로그래밍 경험이 있으신 분 (Java, Python)
동영상 내 이미지 인식 기술 개발 경험이 있으신 분 (OpenCV, ImageMagick 등)
Appium, XCuiTest 기반 Mobile Application 테스트에 관심이 있으신 분
함께 Global App Automation 분야를 리딩해봐요 ~ ! !

FAQ

Q) 본 과제에서 연구 진행 시 필요한 데이터 셋은 해당 연구 과제 설명 시 언급된 SK ICT App들을 사용하면서 자체적으로 수집해야 하는지 궁금합니다. 아니면 예시로 사용된 제페토를 통해 데이터셋을 수집하면 되는 걸까요?
A) 저희가 보유하고 있는 데이터(영상)는 제공할 예정이고, 필요한 앱에 대해서는 데이터 수집도 가능합니다. 다만 데이터 전/후처리는 과제 내에서 진행해야 합니다.
Q) 단말의 영상을 실시간으로 전송하는 과정에서 네트워크 상에서 최적화 도 포함시켜 연구를 진행해야하는 지 궁금합니다.
A) 영상 실시간 전송을 위한 최적화는 Mandatory사항이 아닙니다.