Ultra_Fast_Lane_Detection_TensorRT
An ultra fast tiny model for lane detection, using onnx_parser, TensorRTAPI to accelerate. our model support for int8, dynamic input and profiling. (Nvidia-Alibaba-TensoRT-hackathon2021)
这是一个基于TensorRT加速UFLD的repo，包含PyThon ONNX Parser以及C++ TensorRT API版本, 还包括Torch2TRT版本, 对源码和论文感兴趣的请参见：https://github.com/cfzd/Ultra-Fast-Lane-Detection
一. PyThon ONNX Parser
1. How to run
1) pip install -r requirements.txt
2) TensorRT7.x wil be fine, and other version may got some errors
2) For PyTorch, you can also try another version like 1.6, 1.5 or 1.4
2. Build ONNX（将训练好的pth/pt模型转换为onnx）
1) static（生成静态onnx模型）:
python3 torch2onnx.py onnx_dynamic_int8/configs/tusimple_4.py --test_model ./tusimple_18.pth
2) dynamic（生成支持动态输入的onnx模型）:
First: vim torch2onnx.py
second: change "fix" from "True" to "False"
python3 torch2onnx.py onnx_dynamic_int8/configs/tusimple_4.py --test_model ./tusimple_18.pth
3. Build trt engine（将onnx模型转换为TensorRT的推理引擎）
We support many different types of engine export, such as static fp32, fp16, dynamic fp32, fp16, and int8 quantization
我们支持多种不同类型engine的导出，例如：静态fp32、fp16，动态fp32、fp16，以及int8的量化
static(fp32, fp16): 对于静态模型的导出，终端输入：
fp32:
python3 build_engine.py --onnx_path model_static.onnx --mode fp32<br/>
fp16:
python3 build_engine.py --onnx_path model_static.onnx --mode fp16<br/>
dynamic(fp32, fp16): 对于动态模型的导出，终端输入：
fp32:
python3 build_engine.py --onnx_path model_dynamic.onnx --mode fp32 --dynamic
fp16:
python3 build_engine.py --onnx_path model_dynamic.onnx --mode fp16 --dynamic
int8 quantization 如果想使用int8量化，终端输入：
python3 build_engine.py --onnx_path model_static.onnx --mode int8 --int8_data_path data/testset1000
# （int8_data_Path represents the calibration dataset）
# （其中int8_data_path表示校正数据集)
4. evaluate(compare)
（If you want to compare the acceleration and accuracy of reasoning through TRT with using pytorch, you can run the script）
（如果您想要比较通过TRT推理后，相对于使用PyTorch的加速以及精确度情况，可以运行该脚本）
python3 evaluate.py --pth_path PATH_OF_PTH_MODEL --trt_path PATH_OF_TRT_MODEL
二. torch2trt
torch2trt is an easy tool to convert pytorch model to tensorrt, you can check model details here:
https://github.com/NVIDIA-AI-IOT/torch2trt
（torch2trt 是一个易于使用的PyTorch到TensorRT转换器）
How to run
1) git clone https://github.com/NVIDIA-AI-IOT/torch2trt
2) python setup.py install
2) PyTorch >= 1.6 (other versions may got some errors)
生成trt模型
python3 export_trt.py
torch2trt 预测demo (可视化)
python3 demo_torch2trt.py --trt_path PATH_OF_TRT_MODEL --data_path PATH_OF_YOUR_IMG
evaluated
python3 evaluate.py --pth_path PATH_OF_PTH_MODEL --trt_path PATH_OF_TRT_MODEL --data_path PATH_OF_YOUR_IMG --torch2trt
三. C++ TensorRT API
生成权重文件
python3 export_trtcy.py
trt模型生成
修改第十行为 #define USE_FP32,则为FP32模式, 修改第十行为 #define USE_FP16,则为FP16模式
mkdir build
cd build
cmake ..
make
./lane_det -transfer // 'lane_det.engine'
Tensorrt预测
./lane_det -infer ../imgs
四. trtexec
test tensorrt_dynamic_model on terminal, for instance, for batch_size=BATCH_SIZE, just run:
trtexec --explicitBatch --minShapes=1x3x288x800 --optShapes=1x3x288x800 --maxShapes=32x3x288x800 --shapes=BATCH_SIZEx3x288x800 --loadEngine=lane_fp32_dynamic.trt --noDataTransfers --dumpProfile --separateProfileRun
1 Jan 6, 2022
1 Dec 30, 2021
148 Dec 26, 2022
122 Nov 17, 2022
60 Dec 31, 2022
1 Jan 18, 2022
161 Dec 19, 2022
112 Dec 5, 2022
37 Dec 7, 2022
82 Jun 28, 2022
116 Dec 27, 2022
27 Jul 09, 2022
1.3k Dec 25, 2022
673 Dec 28, 2022
58 Dec 23, 2022
5.6k Jan 03, 2023
11 Dec 09, 2022
18 Nov 28, 2022
36 Nov 24, 2022
40 Nov 07, 2022
3 Jan 04, 2022
30 Dec 16, 2022
68 Jan 06, 2023
3 Oct 06, 2022
6.4k Jan 02, 2023
2k Dec 27, 2022
881 Jan 03, 2023
32 Nov 13, 2022