Project Funding Details

Problem description The complexity and technically challenging nature of surgery leads to variability in surgical performance, which is of major importance for the design of studies as it can potentially compound outcomes and might compromise the extern validity of results. For example, no international consensus has been reached on the optimal extent of lymphadenectomy during esophagectomy in patients treated with curative intent for esophageal cancer. It is known that the extent of lymphadenectomy varies considerably across centers, countries and continents.1 Studies examining the prognostic value of lymphadenectomy often use traditional models such as lymph node yield as a proxy, to quantify the extent of lymphadenectomy, as this is what is routinely collected during surgery. However, providing an intraoperative metric, rather than a pathological proxy, could be more reflective of the prognostic value of lymphadenectomy. Essentially, the value of any solid organ cancer surgery is what is left behind in the patient, thus we must find a new metric to assess intra-operative surgical performance. Research direction Randomized controlled trials (RCTs) often involve multiple centers, however heterogeneity may exist in the performance of surgical procedures across these centers. Standardization of surgical techniques by quality assurance (SQA) has shown to reduce variation in outcomes in RCTs through standardization of surgical performance.2–4 SQA can also be applied within clinical observational studies to control for the heterogeneity in surgical performance. The TIGER study is an international registry study, investigating the distribution of lymph node metastases in esophageal carcinoma.5 This can only be reliably investigated if we accurately document which lymph nodes are resected, but also what remains unresected. The extent of lymphadenectomy will not be prescribed by the TIGER study protocol because of its observational nature. Dysfunctional heterogeneity in the extent of the lymphadenectomy, as a result of poor intervention is not desirable and could lead to limited external validity of study results. To ensure reliable interpretation of TIGER results according to the actually performed lymphadenectomy, this SQA study has been designed to be conducted within the TIGER study. Ultimately, we want to examine the distribution of metastases and correct for systematic avoidance of lymph node stations for the detection of metastases. This will be the first study to apply SQA for monitoring of surgical performance within a registry study and could make an important international contribution to our understanding of the prognostic value of the quality of a surgical resection, and how these visual data can be quantified into a surgical performance metric. This study will provide a benchmark for how quality registries (audits) and observational studies need to collect surgical data in the future and move towards quantifying operative performance in order to link this to postoperative outcomes. Aim and objectives The aim of this study is to develop, utilize and validate an SQA tool to examine the quality of surgical performance within (inter)national registries examining complex surgery, using esophagectomy as a case study. To achieve this aim, three objectives have been formulated. First, we aim to establish a consensus process to develop an SQA tool and assessment structure (I). Subsequently, we aim to utilize this tool within the TIGER study to examine the clinical utility of the tool in an observational dataset (II). Finally, we aim to clinically validate the SQA tool by comparing the long-term survival from the TIGER study against results from the SQA tool (III). Plan of investigation Our research plan consists of three work packages, corresponding to the three objectives. The first work package involves the consensus process of the development of a detailed surgical quality assessment tool specific to esophagectomy, and the structure for the assessment. An existing photographic/video graphic assessment tool, designed by members of our research group, will be further developed and refined for 2- and 3-field lymphadenectomy during esophagectomy. Furthermore, an annotation protocol will be developed to generate training data for the surgical artificial intelligence (AI). Work package 2 includes the utilization of the developed SQA tool within the TIGER study. Photographs and films of the operative field after completion of lymphadenectomy will be assessed for adequacy of removal of lymph node stations, using the refined photo/videographic assessment tool by human assessors. Furthermore, the TIGER data will be annotated to serve as training data for deep learning algorithms. These algorithms will then be integrated into a surgical AI for automated SQA by computers. Machine-based assessment will be compared to human assessment in their skills to evaluate the adequacy of lymphadenectomy during esophagectomy. Work package 3 includes clinical validation of the SQA tool. In this work package, analyses of the assessments will be performed. Subsequently, the manuscripts will be written and submitted to renowned journals. The results of this SQA study will be presented at (inter)national congresses and the surgical AI data will be made available open source. Expected outcomes It is expected that this study will provide a validated SQA photo and video assessment tool, which can be used as a benchmark for registries collecting surgical data, such as the DICA (the Netherlands and the NOGCA (UK). Work package 1: It is expected that the photo and video assessment tool will be extended for both a 2- and 3-field lymphadenectomy in esophagectomy. Besides, it is expected that we succeed in the development of a surgical AI concept and that consensus will be reached on the proposed structure for administration of the photo and video assessment. Work package 2: It is expected that the developed SQA tool will be successfully used within the TIGER study and that the tool is clinically useful for human assessors. Besides, it is expected that algorithms will be integrated into surgical AI for automated SQA by computers. Work package 3: It is expected that the results of the SQA study will ensure reliable interpretation of TIGER study results and could make an important international contribution to our understanding of the prognostic value of the quality of a surgical resection. Furthermore, we want to provide the surgical research community with free access to our surgical AI (Open Data).  

Achtergrond en probleemstelling Operaties zijn complexe en technisch uitdagende procedures. Ten gevolge van deze complexiteit, bestaat er variatie in de uitvoering van eenzelfde operatie door verschillende chirurgen.1 Deze variatie in uitvoering vormt een uitdaging bij het opzetten van studies, omdat het de uitkomst van onderzoek zou kunnen beïnvloeden, en de externe validiteit van de resultaten in gevaar zou kunnen brengen. Zo is er geen wereldwijde consensus over de optimale omvang van de lymfeklierdissectie tijdens een slokdarmresectie. Het is bekend dat de omvang van lymfeklierdissectie aanzienlijk varieert tussen centra.1 Dit, terwijl een radicale klierdissectie geassocieerd lijkt te zijn met betere overleving.8 Studies waarin de prognostische waarde van de lymfeklierdissectie wordt onderzocht, maken vaak gebruik van traditionele uitkomsten zoals lymfeklieropbrengst, om daarmee de omvang van de lymfeklierdissectie te kwantificeren. Maar wellicht zegt een intra-operatieve maatstaaf, waarbij wordt vastgelegd wat er precies gebeurt tijdens de operatie, ons wel meer over de uitgebreidheid van lymfeklierdissecties. Hier kan namelijk ook worden geregistreerd wat er achterblijft in de patiënt. Onderzoeksrichting/voorgestelde oplossing Gerandomiseerde studies hebben vaak veel verschillende deelnemende centra, terwijl er waarschijnlijk veel variatie is in de uitvoering van de operaties. Het is reeds bewezen dat het standaardiseren van chirurgische procedures leidt tot minder heterogeniteit in de resultaten in trials.2–4 Maar chirurgische kwaliteitsborging (Surgical Quality Assurance; SQA) is ook nodig in kwaliteitsregistraties en observationele studies, hoewel dit nog niet eerder is toegepast. Dit zal de eerste studie zijn die SQA toepast in het monitoren van chirurgische prestaties binnen een observationele studie. Als case studie zal de TIGER studie worden gebruikt, een internationale samenwerking van 35 gerenommeerde slokdarmkankercentra, waarin het uitzaaiingspatroon van slokdarmkanker naar de lymfeklieren in kaart wordt gebracht, op basis van patiënt- en tumorkarakteristieken.5 Dit kan echter alleen betrouwbaar gebeuren als er accuraat wordt genoteerd welke lymfeklieren exact zijn weggehaald, maar ook welke lymfeklieren, in welke stations zijn achter gebleven. Het protocol van de TIGER studie schrijft de uitgebreidheid van lymfeklierdissectie niet voor, vanwege de observationele opzet. Om betrouwbare resultaten van de TIGER studie te garanderen, wordt deze SQA studie opgezet. Deze SQA studie kan een belangrijke internationale bijdrage leveren aan ons begrip van de prognostische waarde van de kwaliteit van een chirurgische resectie, en hoe deze visuele gegevens kunnen worden gekwantificeerd tot een kwaliteitsprestatienorm. Doelstelling Het doel van deze studie is om een SQA instrument te ontwikkelen, te gebruiken en te valideren om de kwaliteit van complexe chirurgische procedures te onderzoeken binnen (inter)nationale kwaliteitsregistratiestudies, met de slokdarmresectie als case studie. Er zijn drie doelstellingen geformuleerd om dit doel te kunnen bereiken. Ten eerste willen we een SQA beoordelingsinstrument en structuur ontwikkelen (I). Vervolgens willen we deze tool gebruiken binnen de TIGER-studie om de klinische bruikbaarheid van de tool te onderzoeken in een observationele dataset (II). Als laatste willen we de SQA-tool klinisch valideren door de prognostische resultaten van de TIGER-studie te vergelijken met de resultaten van onze SQA-tool (III). Onderzoeksopzet Ons onderzoeksopzet bestaat uit 3 werkpakketten, corresponderend met de 3 doelstellingen. Werkpakket 1 omvat het consensus proces om de voor slokdarmresecties specifieke SQA tool en tevens een structuur voor de beoordeling te ontwikkelen. Een, door onze studiegroep reeds ontwikkeld foto- en videobeoordelingsinstrument, zal worden aangepast zodat deze toepasbaar is op een slokdarmresectie met een complete 2-velds en 3-velds lymfeklierdissectie.4 De beoordelaars zullen worden getraind en de variabiliteit tussen de beoordelaars zal worden getest, om zo betrouwbare beoordeling te garanderen. Vervolgens zal een structuur worden ontwikkeld en geaccordeerd voor het uitvoeren van de beoordelingen (Bijvoorbeeld: Hoe lang moet het videofragment zijn, hoeveel foto’s moeten worden gemaakt, hoeveel beoordelaars etc.). Bovendien zal een annotatieprotocol worden ontwikkeld om trainingsgegevens voor chirurgische kunstmatige intelligentie beoordeling te genereren. Werkpakket 2 omvat het gebruik van het ontwikkelde SQA instrument in de TIGER studie.  Van in TIGER geïncludeerde patiënten zal na de dissectie van het lymfeklierweefsel een korte video-opname en enkele foto’s gemaakt worden en opgeslagen op een online beveiligd platform.3,9 De video’s/foto’s zullen worden beoordeeld op volledigheid van lymfeklierdissectie gebruikmakend van het in fase 1 ontwikkelde instrument, door de aangewezen experts. Tevens stellen we een objectieve foto- en video beoordelingsmethode middels kunstmatige intelligentie voor. De data verkregen in dit werkpakket zal dienen als trainingsgegevens voor algoritmen voor deep learning. Deze algoritmes zullen worden geïntegreerd om geautomatiseerde SQA door computers mogelijk te maken. De uitvoering van de beoordeling van dit kunstmatige intelligentie programma zal worden vergeleken met de uitvoering van de menselijke beoordelaars. Werkpakket 3 omvat de klinische validatie van het SQA instrument. Er zullen analyses van de assessments worden uitgevoerd, manuscripten worden geschreven en ingestuurd voor publicatie in wetenschappelijke tijdschriften. Daarnaast streven we ernaar om de resultaten van deze SQA-studie te presenteren op (inter)nationale congressen en de chirurgische artificiële intelligentie data zullen open source beschikbaar worden gesteld. Verwachte uitkomsten De verwachting is dat deze studie een gevalideerd SQA instrument voor foto- en video beoordeling zal opleveren, wat kan worden gebruikt als benchmarkstudie voor chirurgische kwaliteitsregistraties, zoals de DICA in Nederland en de NOGCA in het Verenigd Koninkrijk. Werkpakket 1: De verwachting is dat er een beoordelingsinstrument kan worden ontwikkeld dat toepasbaar is voor een slokdarm resectie met 2- en 3-velds lymfeklierdissectie. Bovendien wordt verwacht dat we erin slagen een concept voor chirurgische kunstmatige intelligentie te ontwikkelen en dat er consensus zal worden bereikt over de voorgestelde structuur voor de foto en video beoordeling. Werkpakket 2: De verwachting is dat het SQA instrument succesvol zal worden getest in de TIGER studie, en dat het beoordelingsinstrument klinisch geschikt is om de adequaatheid van lymfeklierdissecties te evalueren. Daarnaast verwachten we dat de data verkregen in dit werkpakket kan dienen om deep learning algoritmes te creëren, voor automatische chirurgische kwaliteitscontrole door computers. Werkpakket 3: De verwachting is dat de resultaten van deze SQA studie ervoor zorgen dat de resultaten van de TIGER studie betrouwbaar kunnen worden geïnterpreteerd. Tevens zal de studie een belangrijke internationale bijdrage leveren aan kwantificatie van intra-operatieve beelden. Intra-operatieve beelden kunnen mogelijk de prognose van een slokdarmkanker patiënt accurater voorspellen dan pathologische uitkomsten. Bovendien willen we de chirurgische onderzoekwereld vrije toegang geven tot onze chirurgische kunstmatige intelligentie data(Open Data).