Duże modele językowe jako narzędzie wspomagania monitoringu realizacji projektów badawczo-rozwojowych

Abstract

Niniejsza praca dotyczy możliwości wykorzystania dużych modeli językowych działających w środowisku offline jako narzędzi wspierających analizę i monitoring dokumentacji projektów badawczo-rozwojowych, szczególnie w warunkach wysokiej złożoności organizacyjnej, formalnej i informacyjnej. Badanie przeprowadzono w kontekście dużej publicznej organizacji B+R, stosując aplikacyjne case study poprzedzone częściowym benchmarkingiem modeli, opinię ekspercką oraz ankietę użyteczności narzędzia, przy zachowaniu wymogów poufności danych. Założono, że projekty B+R wymagają innego podejścia niż projekty komercyjne, ponieważ ich rezultaty są mniej przewidywalne, zakres może ulegać zmianom, a ocena postępu wymaga interpretacji raportów, ryzyk, uzasadnień i powiązań między dokumentami. W ramach pracy opracowano i przetestowano lokalne narzędzie LLM obejmujące interfejs użytkownika, przetwarzanie dokumentów, szablon promptu, lokalną obsługę modelu oraz procedurę automatycznego preprocessingu fragment-do-fragmentu. Wyniki pilotażu wskazują, że skuteczność analizy zależy nie tylko od samego modelu, lecz od całego pipeline’u obejmującego ekstrakcję tekstu, oczyszczanie materiału, segmentację, dobór powiązanych fragmentów, instrukcję dla modelu i walidację odpowiedzi. Narzędzie okazało się przydatne w identyfikowaniu kluczowych informacji, sygnalizowaniu niespójności i braków oraz przygotowywaniu materiału roboczego dla ekspertów, jednak nie powinno zastępować oceny człowieka. Główny wniosek pracy wskazuje, że lokalne modele językowe mogą realnie wspierać analizę poufnej dokumentacji B+R, jeśli są wdrażane jako kontrolowane narzędzia pomocnicze.This thesis examines the possibility of using large language models operating in an offline environment as tools supporting the analysis and monitoring of research and development project documentation, particularly under conditions of high organizational, formal and informational complexity. The study was conducted in the context of a large public R&D organization, using an applied case study preceded by partial model benchmarking, expert opinion and a tool usability survey, while maintaining data confidentiality requirements. It was assumed that R&D projects require a different approach than commercial projects, as their results are less predictable, their scope may change, and progress assessment requires the interpretation of reports, risks, justifications and relationships between documents. As part of the study, a local LLM-based tool was developed and tested, including a user interface, document processing layer, prompt template, local model inference and an automated fragment-by-fragment preprocessing procedure. The pilot results indicate that the effectiveness of the analysis depends not only on the model itself, but on the entire pipeline, including text extraction, material cleaning, segmentation, selection of related fragments, model instructions and response validation. The tool proved useful in identifying key information, signalling inconsistencies and gaps, and preparing working material for experts; however, it should not replace human assessment. The main conclusion of the thesis is that local language models can effectively support the analysis of confidential R&D documentation, provided that they are implemented as controlled auxiliary tools.