제품사용 매뉴얼 SENTECH_StApiPy 설치 방법

  PySpin은 FilterDriver, U3V Driver는 설치되지 않기 때문에, 반드시 Sentech SDK 설치 이후 추가 설치가 되어야 합니다. Python 3.6~ 3.8 버전을 지원 합니다. Python 언어를 사용하기 위해 Python을 설치 합니다.https://www.python.org/downloads/Python 설치하기 PySpin 설치 경로에서 cmd를 입력하여 실행 시킵니다. -m ensurepip -m pip install stapipy-1.1.2.3-cp38-cp38-win_amd64.whlWHL 파일 설치 StapiPy 설치 경로에서 cmd를 입력하여 실행 시킵니다. (grab_callback.py예제 돌리기)

2022-10-19

제품사용 매뉴얼 SENTECH_설정 파일 사용 방법

안녕하세요? 화인스텍 마케팅 팀입니다. 머신비전 전문 기업 화인스텍 블로그를 찾아주셔서 감사드립니다. 이번에는 SENTECH 사의 설정 파일에 대해서 저장하고 사용하는 방법을 말씀드리겠습니다!   1. 설정파일 저장하기   일반적으로 설정 파일은 동일 설정을 다수의 카메라에 적용시키기 위해 제작을 하게 됩니다. 설정 파일을 저장하기 전에 저장하고자 하는 카메라 파라미터를 설정해 주어야 합니다. stViewer에 카메라를 연결합니다. 우측 Feature NodeMap에서 파라미터를 설정 합니다. <그림1> Feature NodeMap   설정이 완료 되었다면 , 설정 파일 저장을 진행합니다. 아래 기재된 순서대로 진행합니다 . File > Save Cameara Config File ... > 경로 및 이름 지정 > 저장 해당 경로로 가서 CFG확장자의 파일이 저장되었는지 확인합니다.   2. 설정파일 사용하기   StViewer에 설정을 적용할 카메라를 연결 합니다. File > Load Camera Config File > 사용하고자 하는 CFG 파일 열기 > 선택 로드 이후 설정이 정상적으로 로드 되었는지 확인 합니다. 이번 시간에는 SENTECH 설정 파일 사용 방법에 대해서 알아 보았습니다. 도움이 되셨나요 ? 문의 사항 있으시면 머신비전 솔루션 전문 기업 화인스텍에 문의하세요 . 언제나 여러분과 함께 하겠습니다. www.fainstec.com으로 이동.

2022-10-19

제품사용 매뉴얼 SENTECH_Node 정보 확인 방법

  Node 정보를 확인 할 Parameter를 선택합니다.아래에서 Node 정보를 얻을 수 있습니다. Ex) Trigger ModeName : TriggerModeInterface Type: IEnumerationAccess Mode : Read and WriteEnumeration Entries : Off or OnNode 정보 확인 방법

2022-10-19

제품사용 매뉴얼 SENTECH_UserSet 사용 방법

  안녕하세요? 화인스텍 마케팅 팀입니다. 머신비전 전문 기업 화인스텍 블로그를 찾아주셔서 감사드립니다. 이번에는 SENTECH사의 UserSet을 사용하는 방법에 대해 전달 해드리겠습니다!   1. 준비작업 카메라 연결 > NodeMap > User Set Control을 선택합니다. User Set Selector : Load & Save 할 영역을 설정 합니다. User Set Load : Seleter된 영역의 설정 값을 불러옵니다. User Set Save : 현재 Camera 설정 값을 Seleotor 영역에 저장합니다. User Set Default : 전원 인가 시 Load 할 영역을 설정 합니다.   공장 초기 값 설정 방법은 User Set Selector를 Default로 설정 후 Load 하면 됩니다. 이번 시간에는SENTECH_UserSet 사용 방법 대해서 알아 보았습니다. 도움이 되셨나요 ? 문의 사항 있으시면 머신비전 솔루션 전문 기업 화인스텍에 문의하세요 . 언제나 여러분과 함께 하겠습니다. www.fainstec.com으로 이동.

2022-10-19

제품사용 매뉴얼 SENTECH_White Balance 설정 방법

  안녕하세요? 화인스텍 마케팅 팀입니다. 머신비전 전문 기업 화인스텍 블로그를 찾아주셔서 감사드립니다. 이번에는 SENTECH사의 White Balance 설정하는 방법에 대해 전달 해드리겠습니다!   1. White Balance 파라미터 확인 StViewer를 운영체제 비트에 맞게 실행합니다. 우측의 파라미터 목록에서 Remote Device > Analog Control의 Balance White Auto 파라미터를 확인합니다. 2. White Balance 사용방법 카메라의 FOV를 커버하는 크기의 하얀색 물체를 준비합니다 (A4용지 등) StViewer를 실행하여 Balance White Auto의 값을 Once로 변경합니다. Balance White Auto의 값을 다시 Off로 변경하시면 설정된 Balance White 값이 유지 됩니다.   3. White Balance 예시 이번 시간에는 SENTECH_White balance 설정 방법 대해서 알아 보았습니다. 도움이 되셨나요 ? 문의 사항 있으시면 머신비전 솔루션 전문 기업 화인스텍에 문의하세요 . 언제나 여러분과 함께 하겠습니다. www.fainstec.com으로 이동.

2022-10-19

제품사용 매뉴얼 [SENTECH] StViewer 사용 하기 SENTECH / 튜토리얼

 SENTECH_StViewer 사용 방법   안녕하세요? 화인스텍 마케팅 팀입니다. 머신비전 전문 기업 화인스텍 블로그를 찾아주셔서 감사드립니다. 이번에는 SENTECH_StViewer 사용하는 방법에 대해 설명해드리겠습니다.   준비된 자료를 따라 하나하나 차근차근 따라하시면 어렵지 않게 사용하실 수 있습니다!   1. 프로그램 UI 레이아웃  툴바 및 메뉴 : 카메라 연결 , 영상 취득, 이미지 및 동영상 저장 등의 메뉴를 표시합니다. 카메라 뷰 : 카메라의 영상이 표시 , 여러 대의 카메라 연결 시 여러 화면이 표시합니다. 파라미터 영역 : 연결된 카메라의 파라미터가 표시됩니다. 로그 메세지 : 프로그램 실행과 관련된 메세지가 출력됩니다.                                      2. 연결 및 해제        StViewer에서 장치를 연결하기 위해서는 Device Selection Window에서 사용 가능한 카메라를 선택해야 합니다.     StViewer를 실행하면 최초 1회 Device Selection Window가 자동으로 생성됩니다.  연결할 카메라를 선택하고 OK 버튼을 클릭합니다.    프로그램 툴 바의 좌상단에 위치한     버튼을 클릭하면 Device Selection Windows가 생성됩니다. 마찬가지로 연결할 카메라를  선택하고 OK 버튼을 클릭합니다.               GigE 카메라의 경우 IP Address의 설정이 올바르지 않으면 연결이 되지 않습니다.  올바른 IP설정 후에 연결이 가능합니다.    GigE 카메라 선택 후 Access Status 가 NoAccess인 경우 ' SET IP Address..." 버튼을 클릭하여 IP설정이 필요합니다.     Set IP Address 창이 표시되면 , HOST IP를 확인하여 올바른 IP 설정 후 OK 버튼을 클릭합니다.         프로그램 툴 바의 좌상단에 위치한 버튼을 클릭하면 장치가 해제 됩니다.   3. 이미지 저장        카메라 뷰 영역에서 마우스 오른쪽 클릭으로 , Save 메뉴에서 Registered 또는 Preview 이미지 저장이 가능합니다.     Registered Image는 Raw Data를 의미하고 , Preview Image는 변환 된 이미지를 의미합니다.      4. Recording      프로그램 툴 바에 위치한   버튼을 클릭하면 , "Generate Multiple still image files?" 라는 문구의 창이 생성됩니다.    "예" 버튼을 클릭할 경우 Still image files setting 창이 생성 됩니다. 파일 타입, 경로 등의 옵션을 설정하고 , OK 버튼을 클릭하면 이미지 파일 저장이 시작됩니다.    툴 바에 위치한 버튼을 클릭하면 , Recording이 종료됩니다. 툴 바에 위치한    버튼을 클릭하고 , " Generate multiple still image files?"라는 문구의 창에서 "아니요"를 클릭할 경우Video File Configuration 창이 생성됩니다.    해당 창에서 파일 포맷, 압축 방식 등의 옵션을 설정합니다. 그리고 Add 버튼을 클릭하여 저장 경로를 설정하고, OK버튼을 클릭하면 동영상 저장이 시작됩니다.     툴 바에 위치한    버튼을 클릭하면 , Recording이 종료됩니다.        5. Bayer 변환 알고리즘         카메라 뷰 영역에서 마우스 오른쪽 클릭으로, Pixel Converter > Bayer Interpolation에서 알고리즘 선택이 가능합니다.     6. 설정 파일 저장 및 불러오기 1) 저장하기   StViewer의 상단 File> Save Camera Config File… 메뉴를 클릭합니다. 파일 탐색기 창이 생성되면 파일 이름을 입력하여 저장 버튼을 클릭합니다. (파일 확장자는 *.cfg 입니다.)   2) 불러오기      StViewer의 상단 File > Load Camera Config File… 메뉴를 클릭합니다.     파일 탐색기 창이 생성되면 cfg 파일을 선택하고 열기 버튼을 클릭합니다.   7. 오버레이   StVieswer의 상단 View > Toolbars and Docking Windows > Drawing 메뉴를 클릭합니다.    메뉴 클릭 후 Drawing Tollbar 가 표시되며 각 버튼 클릭 후 뷰 영역에 Drag & Drop으로 그립니다.   8. 히스토그램   StViewer의 상단 View > Toolbars and Docking Windows > Graph 메뉴를 클릭합니다.    메뉴 클릭 후 히스토그램 창이 표시되며 취득된 영상의 히스토그램 분석이 가능합니다.    히스토그램 창의 정보는 이미지 또는 CSV 파일로 저장이 가능합니다.       이번 시간에는 SENTECH_StViewer 사용 방법에 대해서 알아 보았습니다. 도움이 되셨나요 ?      문의 사항 있으시면 머신비전 솔루션 전문 기업 화인스텍에 문의하세요 . 언제나 여러분과 함께 하겠습니다.     www.fainstec.com으로 이동.

2022-10-19

어플리케이션 노트 소형 캐리어 보드로 4대의 카메라 스트리밍 하기

  임베디드 비전 구성품은 수많은 어플리케이션에 통합되고 있습니다. 이러한 모든 어플리케이션의 공통점은 더 많은 기능을 컴팩트하게 통합해야 한다는 것입니다. Teledyne FLIR는 이러한 시스템을 신속하게 프로토타입화 할 수 있는 TX2용 Quartet™ Embedded 솔루션을 도입했습니다. 이 커스텀 캐리어 보드를 사용하면 전체 대역폭에서 최대 4대의 USB3 머신 비전 카메라를 쉽게 통합할 수 있습니다. 이 보드는 NVidia Jetson 딥러닝 하드웨어 가속기가 포함되어 있으며, Teledyne FLIR의 Spinnaker® SDK가 사전 설치되어 있습니다. 검사, 모바일 로봇, 교통 시스템 및 다양한 유형의 무인 차량과 같은 시스템을 현장에서 구현하는 것은 큰 장점이 될 수 있습니다.   그림 1: 4가지 어플리케이션에 적용된 프로토타입 이 글에서는 Quartet 보드로 무엇을 할 수 있는지 강조하기 위해 동시에 4개의 어플리케이션을 실행하는 ITS(교통 시스템)를 개발하는 단계를 소개해드리겠습니다. 그 중 3개는 딥 러닝을 사용합니다. 어플리케이션1: 딥 러닝을 이용한 번호판 인식 어플리케이션2: 딥 러닝을 이용한 차량 유형 분류 어플리케이션3: 딥 러닝을 이용한 차량 색상 분류 어플리케이션4: 앞 유리창 투과(빛 반사 상황)   구매 목록: 하드웨어 및 소프트웨어 구성품 1. 프로세싱을 위한 SOM(System on Module) TX2용 Teledyne FLIR Quartet 캐리어 보드에는 다음과 같이 구성되어있습니다. - 전용 USB3 컨트롤러가 있는 TF38 커넥터 4개 - Nvidia Jetson TX2 모듈  -Teledyne FLIR의 강력하고 사용하기 쉬운 Spinnaker SDK가 사전 설치되어 Teledyne FLIR Blackfly S 보드 레벨 카메라와의 플러그 앤 플레이 호환성 보장 - Nvidia Jetson 딥 러닝 하드웨어 가속기는 단일 컴팩트 보드에서 완전한 의사 결정 시스템을 가능하게 함 그림 2: Blackfly S board level, FPC cable, TX2가 포함된 Quartet 임베디드 솔루션   2. 카메라 및 케이블 - Teledyne FLIR Blackfly S USB3 보드 레벨 카메라 3대: 최신 CMOS 센서가 적용되어 있고, 케이스 버전과 동일하게 풍부한 기능을 지원하며 Quartet과의 호환성이 높음 - 커스텀 카메라 1대: Sony IMX250MZR 편광 센서가 탑재된 Blackfly S USB3 보드 레벨 카메라 - 케이블: TF38 FPC 케이블로 전력 및 데이터를 단일 케이블로 전송하여 공간 절약 그림 3: FPC 케이블이 연결된 Blackfly S 보드 레벨 카메라   3. 조명 : 번호판의 모션 블러를 방지하기 위해 충분한 광량을 제공하는 LED 조명 3.1 - 어플리케이션1 딥 러닝을 이용한 번호판 인식 개발 시간: 견고하고 빠른 실행을 위해 2-3주 소요 학습 이미지: LPDNet 사용 번호판 인식을 위해 Nvidia의 기성품인 LPDNet(License Plate Detection) 딥 러닝 모델을 사용하여 번호판의 위치를 ??감지했습니다. 그리고 문자와 숫자를 인식하기 위해 Tesseract 오픈 소스 OCR 엔진을 사용 했고 카메라는 Sony IMX267 센서가 탑재된 Blackfly S 보드 레벨 8.9MP 컬러 카메라(BFS-U3-88S6C-BD)를 사용 중입니다. 성능 및 속도를 높이기 위해 번호판 감지에 대한 관심 영역(ROI)을 제한하고, 견고성을 향상시키기 위해 추적(Tracking)을 적용했습니다. 해당 번호판의 문자와 번호판에 바운딩 박스가 표시됩니다.. 그림 4: 번호판의 문자 및 번호판에 바운딩 박스가 표시되는 영상 3.2 - 어플리케이션2 딥 러닝을 이용한 차량 유형 분류 개발 시간: 이미지 수집 및 어노테이션(Annotation)을 포함하여 최대 12시간 학습 이미지: ~300 차량 유형 분류를 위해 전이 학습(Transfer learning)을 사용하여 SUV, 세단 및 트럭과 같은 세 가지 장난감 자동차에 대해 자체 딥 러닝 객체 감지 모델을 학습했습니다. 다양한 거리와 각도에서 촬영한 약 300개의 트레이닝 이미지를 수집했고 카메라는 Sony IMX250 센서가 탑재된 Blackfly S 보드 레벨 5MP 컬러 카메라(BFS-U3-51S5C-BD2)를 사용 중 입니다. 장난감 자동차의 바운딩 박스에 어노테이션을 추가하는데 약 3시간이 소요됐습니다. 자체 SSD MobileNet 객체 감지 모델을 트레이닝하기 위해 전이 학습을 수행했으며, Nvidia GTX1080 Ti GPU에서 반나절 정도 소요됐습니다. GPU 하드웨어 가속기를 통해 Jetson TX2 모듈은 딥 러닝 추론을 효율적으로 수행하고 해당 차량 유형과 함께 자동차에 바운딩 박스를 출력할 수 있습니다. 그림 5: 바운딩 박스와 사전 설정된 차량 유형, 식별된 신뢰도 점수가 표시되는 영상 3.3 - 어플리케이션3 딥 러닝을 이용한 색상 분류 개발 시간: 색상 분류, 통합 및 테스트를 위해 ‘차량 유형 어플리케이션’ 모델을 재사용하여 2일 추가 소요 학습 이미지: ‘차량 유형 어플리케이션’과 동일한 300개 이미지 재사용 차량 색상 분류를 위해 위와 동일한 딥 러닝 객체 감지 모델을 실행하여 차량을 감지하고, 바운딩 박스에 대한 이미지 분석을 통해 색상을 분류했습니다. 해당 차량 색상과 함께 자동차에 바운딩 박스가 표시됩니다. 카메라는 Sony IMX252 센서가 탑재된 Blackfly S 보드 레벨 3MP 컬러 카메라(BFS-U3-32S4C-BD2)를 사용 중 입니다. 그림 6: 바운딩 박스 및 미리 설정된 색상 유형이 식별된 영상 3.4 - 어플리케이션4 앞 유리창 투과(빛 반사 상황) 앞 유리를 통해 HOV차선을 모니터링하고 안전 벨트 착용 여부를 확인하고 심지어 운전 중 휴대폰 사용 여부까지 확인하는 등 교통 관련 어플리케이션에 빛 반사 제거 기능은 매우 중요합니다. 이를 위해 Blackfly S USB3 보드 레벨 카메라와 5MP Sony IMX250MZR 편광 센서를 결합하여 커스텀 카메라를 만들었습니다. 이 보드 레벨 편광 카메라는 표준 제품이 아니지만, Teledyne FLIR에서는 다양한 센서를 쉽게 교체하여 커스텀 카메라 옵션 제공이 가능하여 빛 반사 제거 기능을 보여주는 커스텀 카메라 옵션을 제공하였습니다. 고정된 장난감 자동차의 빛 반사 감소를 보여주기 위해 쿼드 모드(Quad mode), 빛 반사 감소 모드와 같은 다양한 "편광 알고리즘" 옵션을 제공하는 Teledyne FLIR의 SpinView GUI를 통해 카메라 이미지를 간단히 스트리밍했습니다. 그림 7: Spinnaker SDK는 쿼드 모드, 빛 반사 감소 모드와 같은 다양한 “편광 알고리즘” 옵션을 제공하여 고정된 장난감 자동차의 빛 반사 감소를 보여줍니다. 쿼드 모드는 4개의 서로 다른 편광 각도에 해당하는 이미지를 보여줍니다.   전반적인 시스템 최적화 4개의 각 프로토타입은 독립적으로는 잘 작동하지만, 모든 딥 러닝 모델이 동시에 실행될 때 전반적인 성능이 상당히 좋지 않다는 것을 알았습니다. Nvidia의 TensorRT SDK는 Jetson TX2 모듈과 같은 Nvidia 하드웨어용 딥 러닝 추론 옵티마이저(Inference optimizer) 및 런타임을 제공합니다. 이 TensorRT SDK를 사용하여 딥 러닝 모델을 최적화하여 성능이 약 10배 향상되었습니다. 그리고 모든 어플리케이션이 실행 중일 때 발열이 심해 TX2 모듈에 방열판을 부착했습니다. 결과적으로 차량 유형 식별에서 14fps, 차량 색상 분류에서 9fps, 자동 번호판 인식에서 4fps 그리고 편광 카메라에서 8fps까지 4가지 어플리케이션을 모두 실행할 때 좋은 프레임 속도를 달성했습니다. Quartet Embedded Solution 및 Blackfly S 보드 레벨 카메라의 사용 용이성과 신뢰성 덕분에 비교적 짧은 시간 내에 프로토타입 개발을 완료하였습니다. Spinnaker SDK가 사전 설치된 TX2 모듈은 TF38 연결을 통해 전체 USB3 대역폭에서 안정적으로 스트리밍할 수 있는 모든 Blackfly S 보드 레벨 카메라와의 플러그 앤 플레이 호환성을 보장합니다. Nvidia는 TX2 모듈에서 개발 및 최적화를 용이하게 하는 많은 툴을 제공합니다. Quartet은 이제 flir.com은 물론 flir.com 사무실과 글로벌 대리점들을 통해 구매하실 수 있습니다.   제품 링크 :  Blackfly S 보드 레벨 카메라 : http://www.fainstec.com/main/search.asp?schStr=BD2 Blackfly S 편광 카메라 케이스 버전 : http://www.fainstec.com/main/search.asp?schStr=51S5P-C Quartet보드: http://www.fainstec.com/main/search.asp?cate=%EB%B3%B4%EB%93%9C&o_idx=125&schStr=Quartet

2022-09-16

어플리케이션 노트 깊이 측정을 위한 커스텀 임베디드 스테레오 시스템

깊이 측정을 위한 커스텀 임베디드 스테레오 시스템     깊이 측정 시스템 개발을 위한 3D 센서 옵션에는 다양한 옵션들이 있는데요, 카메라가 있는 스테레오 비전, 라이다 및 TOF센서가 대표적입니다. 그리고 각 옵션에는 장단점이 있습니다. 그중 스테레오 비전 시스템은 일반적으로 비용이 저렴하고 실외에서 사용하기에도 충분히 견고하며 고해상도 컬러 포인트 클라우드를 제공합니다. 오늘날 시장에서 사용할 수 있는 다양한 기성 스테레오 시스템이 존재하지만, 정확도, FOV, 해상도 등과 같은 요인에 따라 시스템 엔지니어가 특정 어플리케이션 분야의 요구 사항을 해결하기 위해 커스텀 시스템을 구축해야 하는 경우도 있습니다. 먼저 스테레오 비전 시스템의 주요 파트를 설명한 다음 기성 하드웨어 부품 및 오픈소스 소프트웨어를 사용하여 커스텀 스테레오 카메라를 만드는 방법에 대해 설명 하도록 하겠습니다. 커스텀 시스템의 구성은 임베디드에 초점을 맞추기 때문에 호스트 PC 없이도 실시간으로 모든 장면의 Depth Map을 계산할 수 있습니다.   스테레오 비전 개요 스테레오 비전은 두개의 다른 시점에서 촬영한 두 이미지의 정보를 비교하여 디지털 이미지에서 3D 정보를 추출하는 것입니다. 두 이미지 평면에서 물체의 상대적 위치는 카메라에서 물체까지의 거리 즉 깊이에 대한 정보를 제공해줍니다.   Figure 1 – 스테레오 비전 시스템 개요   스테레오 비전 시스템의 개요는 위 이미지와 같으며 다음과 같은 주요 단계로 구성됩니다.   1.      캘리브레이션 – 카메라 캘리브레이션의 경우 두가지 의미가 있습니다. Instrinsic(내부적인) 캘리브레이션의 경우는 이미지 중심, 초점 거리 및 왜곡 파라미터를 말하며, Extrinsic(외부적인) 캘리브레이션은 카메라의 실제 위치 등을 말합니다. 컴퓨터 비전 프로그램에서 특히 깊이와 같은 이미지의 메트릭 정보가 필요한 경우 캘리브레이션 단계는 매우 중요합니다. 캘리브레이션 단계에 대해서는 아래 캘리브레이션 섹션에서 자세히 설명 드리겠습니다. 2.      렉티피케이션 – 스테레오 렉티피케이션은 이미지 평면을 양쪽 카메라의 중심 사이의 선과 평행한 공통 평면으로 조정하는 프로세스를 말합니다. 렉티피케이션 이후 해당 포인트가 평행하게 놓여 있게 되므로 매칭에 소요되는 시간이 줄어들기 때문에 꼭 필요한 과정으로 인식되고 있습니다. 이 단계는 커스텀 시스템을 구축하기 위해 제공된 코드로 실행 가능합니다. Figure 2 – Stereo Rectification 예시   3.      스테레오 매칭 – 왼쪽과 오른쪽 이미지 사이에 픽셀을 일치시켜주는 과정을 스테레오 매칭이라고 하며, Disparity image(불균형한 이미지)를 생성하게 됩니다. SGM(Semi-Global Matching) 알고리즘은 커스텀 시스템을 구축하기 위해 제공되는 코드에 사용됩니다. 4.      Triangulation(삼각측량) – 삼각 측량은 두 이미지에 투영 된 3D 공간의 점을 결정하는 과정을 말합니다. Disparity image(불균형한 이미지)는 3D 포인트 클라우드로 변환됩니다.   설계 예제   스테레오 시스템의 설계 예제를 살펴보겠습니다. 다음은 빠르게 움직이는 물체가 있는 동적 환경인 모바일 로봇 어플리케이션에 대한 요구 사항입니다. ROI 크기는 2m, 카메라에서 목표물까지의 거리는 3m, 원하는 정확도는 1cm입니다. 깊이 오차는 다음과 같은 요인에 따라 ΔZ=Z²/Bf * Δd에 의해 주어집니다:   Z = 범위 B = Baseline(기준선) F = focal length(픽셀 단위의 초점 거리로, 카메라 시야 각 및 이미지 해상도와 관련 있습니다) 처음에 언급한 요구 사항을 충족할 수 있는 다양한 설계 옵션들이 있는데, 원하는 FOV와 WD에 따라 특정 센서에 대한 렌즈의 초점 거리를 정할 수 있습니다. Baseline(기준선)으로 위의 공식을 사용하여 3m에서 예상 깊이 오차를 계산하여 요구되는 정확도를 충족하는지 확인할 수 있습니다.   Figure 3 – 예제 어플리케이션에 대한 스테레오 시스템 설계 옵션   위 이미지는 Baseline(기준선)이 긴 저해상도 카메라 또는 Baseline이 짧은 고해상도 카메라 이렇게 두가지 옵션에 대한 설명입니다. 첫번째 옵션은 전체적으로 크기가 더 큰 카메라이지만 복잡한 계산의 필요성이 적고 두번째의 경우는 크기는 더 컴팩트 하지만 복잡한 계산의 필요성이 높습니다. 예제 어플리케이션에서는 컴팩트 한 크기가 모바일 로봇 어플리케이션에 더 적합하기 때문에 두번째 옵션을 선택했으며, 요구되는 프로세스를 처리 할 수 있는 강력한 GPU가 탑재된 TX2 용 Quartet Embedded Solution을 사용할 수 있습니다.     하드웨어 요구 사항 Figure 4 – 커스텀 임베디드 스테레오 시스템의 앞면과 뒷면   이 예에서는 IMX273 Sony Pregius 글로벌 셔터 센서를 사용하여 두 대의 Blackfly S 1.6MP 보드 레벨 카메라를 12cm Baseline(기준선)를 가진 3D 프린트된 프레임에 장착합니다. 두 카메라 모두 동일한 6mm S-마운트 렌즈를 장착했습니다. 카메라는 FPC 케이블을 사용하여 TX2 커스텀 캐리어 보드용 Quartet Embedded Solution에 연결됩니다. 왼쪽과 오른쪽 카메라를 동기화하여 동시에 이미지를 캡처하기 위해 두 카메라를 연결하는 동기화 케이블도 연결합니다.   위 이미지의 하드웨어 구성품은 다음과 같습니다 : Quartet Carrier with TX2 Module 8GB – 1ea BFS-U3-16S2C-BD2(카메라) – 2ea S-Mount & IR filter – 2ea 6mm S-Mount lens(렌즈) – 2ea 15cm FPC 케이블 – 2ea NVIDIA Jetson TX2/TX2 4GB/TX2i Active Heat Sink(방열판) – 1ea 동기화 케이블 – 1ea 카메라 부착용 프레임 – 1ea   두 렌즈 모두 어플리케이션이 요구하는 범위에 카메라 초점이 맞도록 조정해야 합니다. 초점을 맞춘 후 초점을 고정하기 위해 각 렌즈의 나사를 조여줍니다. (Figure 5 참고)   Figure 5 – 렌즈 나사를 보여주는 스테레오 시스템의 측면도   소프트웨어 요구 사항   a.     Spinnaker Teledyne FLIR Spinnaker SDK는 TX2용 Quartet Embedded Solution에 사전 설치되어 제공됩니다. 카메라와 통신하기 위해선 Spinnaker가 필요합니다. b.     CUDA를 지원하는 OpenCV 4.5.2 스테레오 매칭 알고리즘 중 하나인 SGM을 사용하기 위해선 OpenCV 4.5.1 버전 또는 그 이상의 버전이 필요합니다. 코드를 포함하고 있는 첨부된 zip 파일을 다운로드 후 압축을 풀어줍니다. 리눅스 터미널에서 아래와 같이 OpenCV를 설치하는 스크립트 인 OpenCVInstaller.sh를 실행합니다. cd ~/StereoDepth chmod +x OpenCVInstaller.sh ./OpenCVInstaller.sh 설치 관리자를 통해 관리자 암호를 설정 후 OpenCV 4.5.2 설치가 시작됩니다. OpenCV를 다운로드하고 빌드하는데 몇 시간이 걸릴 수도 있습니다.   캘리브레이션 스테레오 이미지를 불러와 캘리브레이션 하는 코드는 “Calibration” 폴더에서 확인할 수 있습니다. SpinView GUI를 사용하여 좌우 카메라의 일련 번호를 확인합니다. 우측 카메라는 마스터, 좌측 카메라는 슬레이브로 설정해 줍니다. 마스터 및 슬레이브 카메라의 일련 번호를 grabStereoImage.cpp 파일의 60번째와 61번째 줄에 복사해줍니다. 리눅스 터미널에서 다음 명령어를 사용하여 실행 파일을 빌드합니다. cd ~/StereoDepth/Calibration mkdir build mkdir -p images/{left, right} cd build cmake .. make 첨부된 채커보드 패턴을 인쇄하여 평평한 표면에 부착 후 캘리브레이션 타켓으로 사용할 수 있습니다. 캘리브레이션을 하는 동안 최상의 결과를 얻으려면 SpinView에서 Exposure Auto는 off로 설정하고 아래 그림과 같이 채커보드 패던이 선명하고 흰색 부분이 과하게 노출되지 않도록 노출을 조정해줍니다. 캘리브레이션 이미지가 수집된 후 SpinView에서 게인 및 노출을 자동으로 설정할 수 있습니다.   Figure 6 – SpinView GUI 설정   이미지 수집을 시작하기 위해 아래 명령어를 입력해줍니다. ./grabStereoImages 코드에 따르면 이미지 수집은 약 초당 1프레임의 속도로 진행됩니다. 왼쪽의 이미지는 images/left 폴더에 저장되고 오른쪽의 이미지는 images/right 폴더에 저장됩니다. 타겟을 움직여 이미지의 구석 부분까지도 잘 보이게 촬영해줍니다. 타겟을 회전 시켜 가까이서, 그리고 또 멀리서도 찍어줍니다. 기본적으로 프로그램은 100쌍의 이미지를 캡처하지만 아래 명령어를 사용하여 변경도 가능합니다. ./grabStereoImages 20 위의 명령어를 사용하면 20쌍의 이미지만 수집됩니다. 이전 폴더에 저장된 모든 이미지를 덮어 쓰는 점은 참고하셔야 됩니다. 아래 이미지는 일부 캘리브레이션 이미지 샘플입니다.   Figure 7 – 샘플 캘리브레이션 이미지   이미지 수집 후 다음 명령어를 통해 캘리브레이션 Pyhton 코드를 실행합니다. cd ~/StereoDepth/Calibration python cameraCalibration.py 위 명령어로 스테레오 시스템의 내부 및 외부 파라미터가 포함된 "intrinsics.yml"및 "extrinsics.yml"이라는 2개의 파일이 생성됩니다. 기본적으로 30mm 정사각형 크기의 채커보드를 가정하여 만든 코드이지만 필요한 경우 편집이 가능합니다. 캘리브레이션이 끝나면 캘리브레이션이 얼마나 잘 수행 되었는지를 나타내는 RMS 오류가 표시됩니다. 캘리브레이션이 잘 된 경우 RMS 오류는 일반적으로 0.5 픽셀 미만입니다.   Real-time Depth Map 실시간으로 차이(disparity)를 계산하는 코드는 “Depth” 폴더 내에 있습니다. 카메라의 일련 번호를 복사하여 live_disparity.cpp의 230과 231번째 줄에 붙여 넣습니다. 리눅스 터미널에서 다음 명령어를 사용하여 실행파일을 빌드합니다. cd ~/StereoDepth/Depth mkdir build cd build cmake .. make 캘리브레이션 단계에서 얻은 "intrinsics.yml" 및 "extrinsics.yml" 파일을 이 폴더에 복사합니다. 실시간으로 Depth Map 데모를 실행하려면 다음 명령어를 입력합니다. ./live_disparity 왼쪽 카메라 이미지(Raw 이미지)와 Depth Map(최종 output)이 표시됩니다. 아래 이미지는 몇가지 예제 output을 보여주고 있습니다. 카메라로부터의 거리는 Depth Map의 오른쪽에 표시된 범례에 따라 색상으로 구분됩니다. Depth Map의 검은색 영역은 해당 영역에서 차이(disparity)점이 있는 데이터가 없다는 것을 의미합니다. NVIDIA Jetson TX2 GPU로 1440 x 1080의 해상도에서 최대 초당 5프레임, 720 x 540의 해상도에선 최대 초당 13프레임 속도로 실행할 수 있습니다. 특정 지점의 깊이 데이터는 Depth Map에서 해당 지점을 클릭하여 아래 이미지와 오른쪽 하단 이미지와 같이 깊이가 표시되는 것을 확인할 수 있습니다.   Figure 8 – 왼쪽 카메라 이미지 및 해당 Depth Map 샘플 / 하단의 Depth Map에서는 특정 지점의 깊이를 보여줍니다.   요약 스테레오 비전을 사용하여 깊이 측정 시스템을 개발하면 실외에서도 잘 작동이 가능하며, 고해상도 Depth Map을 제공하고, 저렴한 기성품들로 매우 쉽게 접근할 수 있다는 장점이 있습니다. 시장에는 이미 요구 조건이 정해진 기성 스테레오 시스템이 많이 있습니다. 커스텀 임베디드 스테레오 시스템을 개발해야하는 경우 이 글에서 설명 드린 내용처럼 비교적 간단하게 작업하실 수 있습니다.  

2022-09-07

어플리케이션 노트 VS Technology의 다양한 어플리케이션 - 박스 상단 바코드 인식

박스 상단 바코드 인식 물류 창고에서 컨베이어 벨트 위로 지나는 상자의 상단에 부착된 바코드는 상자의 높이에 따라 초점 거리가 달라집니다. 어떤 높이에서도 바코드를 정확하게 인식하기 위해 추천 드리는 제품은 VS-FT12HV 입니다.   VS-FT12HV 적용 사례 도입전 과제 - 사용하던 바코드 리더기가 높이가 다른 초점거리를 전부 인식할 수 없음. - 박스의 높이를 일정하게 맞추기 위해 분류 작업을 한 후 라인으로 보내는 비효율적인 루틴. VS-FT12HV 평가와 선정 이유 - 소프트웨어로 렌즈를 컨트롤하여, 오토포커싱 가능. - 한 라인에서 다양한 높이의 바코드를 인식. VS-FT12HV 요약(이미지 클릭시 제품페이지로 이동) - 1.1" 3.45um 대응 - 1.1" 카메라와 사용함으로 더 넓은 시야를 커버 가능 - 150mm부터 무한대까지 넓은 범위의 포커스 조정이 가능

2022-08-31

어플리케이션 노트 VS Technology의 다양한 어플리케이션 - 식물 그레이딩

식물 그레이딩 그레이딩 장비에 식물등을 넣어 파라미터에 따라 등급을 나누는 어플리케이션으로 짧은 WD의 컴팩트한 장비에 적합한 제품은 VS-LDV 시리즈입니다.   VS-LDV 시리즈 적용 사례 도입전 과제 - WD가 짧은 고정초점 렌즈+접사링을 사용하였으나 해상도가 낮아 만족스럽지 못함. - 광각렌즈 사용으로 왜곡이 생김. VS-THV-SWIR 평가와 선정 이유 - VS-LDV25로 짧은 WD 조건을 충족하며 해상도를 향상시켜줌. - 왜곡을 억제한 설계로 이미지 처리의 부담을 줄일 수 있게 됨. VS-LDV 시리즈 요약(이미지 클릭시 제품페이지로 이동) - 3.45um 해상도 - 초점거리 25, 35, 50, 75mm 총 4종의 라인업 - 짧은 WD를 요구하는 어플리케이션에 최적화 - C-Mount  

2022-08-31