Geração de mecanismos de inferência RTL comportamentais para super-resolução de imagens com auxílio de LLMs
ASIC
Super-Resolução de Imagens
GANs
Aceleração de Hardware
LLM
As aplicações de processamento digital de imagens têm apresentado crescente demanda nos últimos anos, impulsionadas pelo avanço e pela diversidade dos equipamentos de captura de imagens. Esses sensores são fundamentais para Veículos Aéreos Não Tripulados (VANTs), pois permitem estimar sua localização e velocidade, além de possibilitar o mapeamento de áreas e a detecção de alvos, recursos essenciais em operações de busca e resgate, reduzindo custos por meio do emprego de plataformas remotas e de menor complexidade. Uma etapa que antecede os algoritmos de detecção de alvos é a super-resolução de imagens, responsável por reconstruir detalhes e melhorar a qualidade das fotografias. Tradicionalmente, essa tarefa era realizada por métodos matemáticos; atualmente, com o avanço das Redes Neurais Convolucionais (CNNs) e das Redes Generativas Adversariais (GANs), técnicas baseadas em aprendizado profundo passaram a representar o estado da arte. Entretanto, embora as GANs apresentem elevado desempenho em super-resolução, sua implementação em sistemas embarcados ainda é desafiadora. O treinamento desses modelos exige hardware de alto desempenho, geralmente equipado com GPUs, e mesmo a etapa de inferência permanece computacionalmente custosa para plataformas como FPGAs. Nesse contexto, o desenvolvimento de Circuitos Integrados de Aplicação Específica (ASICs) surge como uma alternativa promissora para acelerar a inferência de modelos de super-resolução em sistemas embarcados.
Neste trabalho, investiga-se a viabilidade do desenvolvimento de motores de inferência para o algoritmo Real-ESRGAN utilizando modelos pré-treinados. Para isso, a ideia inicial foi a de desenvolver módulos em linguagem HDL (Verilog), voltados ao processo de inferência. Devido à complexidade do modelo pré-treinado utilizado, foram explorados e empregados modelos de Linguagem de Grande Porte (LLMs) para realizar o parser do arquivo .pth e para o desenvolvimento de um motor de inferência comportamental, acelerando o processo de transpilação do modelo e seus pesos para uma linguagem de hardware. Os resultados obtidos demonstraram elevada fidelidade das imagens super-resolvidas em comparação com o modelo de referência (golden model), indicando a viabilidade da abordagem proposta para futuras implementações em ASICs destinados à inferência de modelos GAN para super-resolução de imagens, bem como para a construção individual de cada módulo.