여기서 굵은 절취선 해놓은데 까지 푸념이다.

얼굴에서 landmark를 인식해서 face alignment를 하려고 하는데 딥러닝으로 학습된 모델이 성능이 좋다고 지표가 나와있었다.

현재 프로젝트는 C로 만들어져 있기때문에 왠만하면 c로 짜져있는 코드가 필요했다. tensorflow에서 c++로 학습 시키고 테스트 하는 게 되어있는 face alignment 코드를 찾았다.

https://github.com/bobetocalo/faces_framework

그게 위 링크인데

이걸 Cmake 빌드하려다 보니 골때리는게 한두가지가 아니다.

우선 opencv는 깔려져 있으니 패스

Boost는 빌드 해서 shared library만 cmake로 연결해주니 어찌저찌 되었는데

문제는

https://github.com/bobetocalo/bobetocalo_prl19/

faces_framework submodule로 존재하는 여기서 tensorflow를 연결해주어야 한다.

해당 깃에는 tensorflow 버전을 몇을 쓰라는지 적혀있는 내용이없어 그냥 대충 git 날짜 보고
2.0만 아니면 되겠지 라는 생각으로 1.4를 통째로 받아서

연결만 하면 될 줄 알았는데

python에서 tensorflow를 사용하는건

 pip install tensorflow

이러면 땡이였는데

c++에선 그냥 make 만 해서 되는게 아니였다. ㅋㅋㅋㅋㅋㅋ

여기저기 뒤지다 우선 tensorflow build 하는 문서를 찾았고

https://www.tensorflow.org/install/source

1. 먼저 bazel 부터 깔아야된다. (docker python 등등 쓸게 아니면..)

bazel도 버전을 잘 맞춰서 깔아야 된다. (2.0.0 버전 깔았다가 다시 지우고 개고생 했다.)

tensorflow 버전에 따른 bazel,cuda,cudnn test completed version은 아래링크 에서 확인할 수 있다.
https://www.tensorflow.org/install/source#tested_build_configurations

tensorflow 공식 문서에도 적혀있지만

bazelink 를 쓰면 쉽게 깔린다고 하는데 나는 무시하고 그 아래 그냥 bazel 설치하는 링크로 들어갔다.

https://docs.bazel.build/versions/master/install.html

나는 우분투니 우분투 기준으로 하고 installer를 다운받아서 하는 방법을 택했다.
그 외의 경우 위링크에서 확인하면 된다.

의존성 패키지를 깔면 된다.(사실 왠만하면 깔려있을것이다.)

sudo apt install g++ unzip zip

그 다음에는 자바를 까는데 자바프로젝트를 빌드하고 싶으면 까는 건데 굳이 tensorflow 빌드하는데 필요는 없어보이지만 혹시모르니 깔았다. (필요없을거같긴한데)

# Ubuntu 16.04 (LTS) uses OpenJDK 8 by default:
sudo apt-get install openjdk-8-jdk

# Ubuntu 18.04 (LTS) uses OpenJDK 11 by default:
sudo apt-get install openjdk-11-jdk

그다음에 installer를 다운 받아야 한다.
https://github.com/bazelbuild/bazel/releases
여기서 다운 받으면 된다.

r1.14 를 빌드하려고 하는 경우 그냥 0.26.0 받으면 된다. ( 그외의 경우는 알아서 잘... duckduckgo 같은데 잘 뒤져보면 있을걸..?)

그리고 아래 처럼 실행 권한 주고 실행하면 된다.

chmod +x bazel-<version>-installer-linux-x86_64.sh
./bazel-<version>-installer-linux-x86_64.sh --user

2.cuda toolkit 설치

이게 개빡친다.

tensorflow 에서 gpu를 사용하려면 cuda관련 된 것들이 연결 되어야 하는데 이걸 안깔고 하면 bazel로 configure 할때 계속 파일 없다고 뜨면서 진행이 안된다.

cuda toolkit 다운 링크
https://developer.nvidia.com/cuda-downloads

알아서 잘 선택 하면 되는데 나는 runfile 방식으로 설치할 것이다.

wget http://developer.download.nvidia.com/compute/cuda/10.2/Prod/local_installers/cuda_10.2.89_440.33.01_linux.run
sudo sh cuda_10.2.89_440.33.01_linux.run

근데 이것만 깔면 될줄 알았는데 또 cudnn을 못찾는 댄다.

3. cudnn 설치

아 정말 cuda toolkit에 제발 한번에 넣어줬으면 좋겠다. 내가 모르는 건가..

https://developer.nvidia.com/rdp/cudnn-download

여기서 받아야 되는데 또 빡치는건 로그인을 해야된다.

로그인 하기 싫은 사람을 위해 다운링크(cuda 10.2 x86-64 linux 만 된다. cudnn v7.6.5) 딴거 받고싶으면 로그인하시고...
https://developer.nvidia.com/compute/machine-learning/cudnn/secure/7.6.5.32/Production/10.2_20191118/cudnn-10.2-linux-x64-v7.6.5.32.tgz

(아 이제 다운로드가 어느 정도 됬다.)

다운받고 나서는 압축 풀고.

tar -xzvf cudnn-10.2-linux-x64-v7.6.5.32.tgz

그냥 무식하게 압축 푼 거를 다 usr/local/cuda (cuda 기본 설치 경로) 에 복사하면 된다.
(이게 내가 만든게 아니고 공식 문서에 있는 내용 임.. 진짜..
https://docs.nvidia.com/deeplearning/sdk/cudnn-install/index.html)

sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

4.(선택) TensorRT 설치.

아.. 정말 깔게 많다..
TensorRT가 뭐냐면 실수형을 정수형으로 변환해 빠르게 Inference 할수 있게 도와주는 툴이다.

솔직히 실시간 할께 아니면 필요없는데....

또 양아치 같은 nvidia 홈페이지에 들어가야한다.

https://developer.nvidia.com/nvidia-tensorrt-download
여기서 나는 tensorRT 6을 받을 것이다.
다운받으려면 설문을 해야되는데 걍 매우 귀찮았기 때문에 회사명에 ㅁㄴㅇㄹㅁㄴㅇㄹ를 적음..

버전 6을 받은 이유는 그냥 은 아니고 ubuntu16.04에 cuda10.2 를 만족하는 최소 버전이라서..?
다른 분들은 눈치껏 잘 받기 바란다. 안그러면 또 bazel에서 빠꾸먹는다.

슬슬 지치기 시작하기 때문에 편한 deb 설치파일을 받아서 설치했다.

그냥 더블클릭해서 깔아도 되긴한데 command가 편한 분들을 위해

sudo apt install ./nv-tensorrt-repo-ubuntu1604-cuda10.2-trt6.0.1.8-ga-20191108_1-1_amd64.deb

5.Bazel configure 하기.

자 이제 준비가 되었으니(사실 나는 5번 과정을 bazel한테 빠꾸먹고 시행착오로 1,2,3,4 스텝을 만들었다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ)

tensorflow 다운 받았던 폴더로 들어가서

혹시나 다운이 안되있으면
아래처럼 하면 된다. 용량 개많음 주의.. (r1.14 는 내꺼 기준이라.. 원하는 버전으로.하면됨.)

git clone https://github.com/tensorflow/tensorflow.git
git checkout r1.14

자 다운을 받았으니 configure를 해볼까...

./configure

그냥 아래 내용 나오면 다 엔터 쳐주면 된다.

(설마하니 python이 안깔린 사람은 없겟지)
Please specify the location of python. [Default is /usr/bin/python]:
Please input the desired Python library path to use. Default is [/usr/local/lib/python2.7/dist-packages]

Do you wish to build TensorFlow with XLA JIT support? [Y/n]: Y

이거 N 해야 된다. 안그러면 깔게 매우 많다.

Do you wish to build TensorFlow with OpenCL SYCL support? [y/N]: N

SYCL ROCm 다 N 해줘야된다.

Do you wish to build TensorFlow with ROCm support? [y/N]: N

gpu 사용할거기때문에 Y

Do you wish to build TensorFlow with CUDA support? [y/N]:

그냥 N하는게 정신건강에 좋다.(하다 포기했다. 다음에 도전)

Do you wish to build TensorFlow with TensorRT support? [y/N]: N

Please specify the CUDA SDK version you want to use. [Leave empty to default to CUDA 10]:

Please specify the cuDNN version you want to use. [Leave empty to default to cuDNN 7]:

Please specify the TensorRT version you want to use. [Leave empty to default to TensorRT 5]:
Please specify the locally installed NCCL version you want to use. [Leave empty to use http://github.com/nvidia/nccl]:
Please specify the comma-separated list of base paths to look for CUDA libraries and headers. [Leave empty to use the default]:

Please note that each additional compute capability significantly increases your build time and binary size, and that TensorFlow only supports compute capabilities >= 3.5 [Default is: 3.5,7.0]:

Do you want to use clang as CUDA compiler? [y/N]: n

그냥 나머지 다 엔터

하고 Configuration finished 뜨면 완료 된 것이다.

그리고