Private AI voor onderwijs en onderzoek

AI verandert de manier waarop studenten leren, onderzoekers werken en onderwijsinstellingen kennis beschikbaar maken. Studenten gebruiken taalmodellen voor opdrachten, onderzoekers experimenteren met nieuwe toepassingen en medewerkers zoeken naar manieren om administratieve en inhoudelijke processen te versnellen.

Een lokaal AI-lab is een centrale omgeving waarin studenten, docenten en onderzoekers toegang krijgen tot AI-rekenkracht en software. Afhankelijk van de omvang kan zo'n omgeving bestaan uit één krachtige AI-workstation of een gedeelde AI-server, maar ook uit meerdere GPU-systemen. Daarnaast kunnen een beveiligde chatomgeving, ontwikkelomgevingen voor onderzoekers, lokale AI-modellen, API-toegang, gedeelde opslag voor datasets en voorzieningen voor beheer en monitoring onderdeel zijn van de infrastructuur.

Gebruikers hoeven daardoor niet allemaal over een eigen zware computer te beschikken. Via het interne netwerk of een beveiligde verbinding kunnen zij gebruikmaken van centraal beschikbare capaciteit.

Een private AI-omgeving maakt het mogelijk om studenten niet alleen met een chatinterface te laten werken, maar hen ook te laten begrijpen hoe AI technisch functioneert.

Studenten kunnen in zo'n omgeving kennismaken met taalmodellen, prompting en modelvergelijking, maar ook met onderwerpen als fine-tuning, machine learning, computer vision, AI-agents, vector databases en Retrieval-Augmented Generation. Daarnaast kunnen zij experimenteren met modelprestaties en zelf ontdekken waar de mogelijkheden en beperkingen van verschillende AI-modellen liggen.

Omdat de omgeving lokaal wordt beheerd, kan de onderwijsinstelling zelf bepalen welke modellen, software en functies beschikbaar zijn. Daarmee is deze infrastructuur geschikt voor uiteenlopende opleidingen, waaronder informatica, data science, engineering, bedrijfskunde, communicatie, media en creatieve technologie.

Onderwijsinstellingen beschikken over grote hoeveelheden informatie, verspreid over bijvoorbeeld studiegidsen, onderwijs- en examenregelingen, handleidingen, beleidsdocumenten, onderzoeksprotocollen, IT-instructies, facilitaire informatie en bibliotheekdocumentatie.

Een private AI-assistent kan deze informatie toegankelijk maken via een gebruiksvriendelijke chatomgeving. Een student kan bijvoorbeeld vragen welke voorwaarden gelden voor een bepaalde minor, waar een stageformulier te vinden is, welke regels gelden voor herkansingen of hoe een onderzoeksruimte kan worden gereserveerd.

Ook medewerkers kunnen de assistent gebruiken voor interne vragen. Zij kunnen bijvoorbeeld opvragen welke procedure voor een bepaalde aanvraag geldt, wat het meest recente beleid over een onderwerp zegt of welke stappen bij een intern proces horen.

De antwoorden kunnen worden gebaseerd op vooraf goedgekeurde documenten en desgewenst worden voorzien van bronverwijzingen. Zo wordt bestaande kennis binnen de instelling eenvoudiger toegankelijk zonder dat gebruikers zelf door verschillende documenten en systemen hoeven te zoeken.

dienst mogen worden gestuurd. Dat kan gaan om persoonsgegevens, medische onderzoeksdata, bedrijfsgevoelige informatie, niet-gepubliceerde onderzoeksresultaten, gegevens van externe opdrachtgevers, intellectueel eigendom of technische datasets.

Met een on-premise AI-oplossing kan de verwerking binnen de eigen infrastructuur van de instelling plaatsvinden. De AI-server kan daarbij worden ingericht met gescheiden omgevingen, gebruikersrechten en afzonderlijke projectopslag. Hierdoor kunnen verschillende onderzoeksgroepen dezelfde hardware gebruiken zonder automatisch toegang te krijgen tot elkaars data.

Dit maakt het mogelijk om centrale AI-capaciteit beschikbaar te stellen en tegelijkertijd controle te houden over waar gevoelige onderzoeksgegevens worden verwerkt en opgeslagen.

Voor onderzoek naar taalmodellen is controle over zowel het model als de onderliggende infrastructuur belangrijk. In een lokale omgeving kunnen onderzoekers verschillende modellen vergelijken, modellen kwantiseren en experimenteren met prompts en systeemberichten. Ook kunnen zij fine-tuning uitvoeren, evaluaties opzetten en onderzoek doen naar bijvoorbeeld hallucinaties, latency en modelprestaties.

Daarnaast kunnen onderzoekers eigen API's ontwikkelen en taalmodellen combineren met interne databronnen. Omdat de omgeving lokaal draait, kunnen zij modellen en configuraties gebruiken die bij publieke AI-diensten niet of slechts beperkt beschikbaar zijn. Dit geeft onderzoeksgroepen meer vrijheid om AI-systemen op technisch niveau te onderzoeken en aan te passen.

Een AI-workstation of AI-server kan naast taalmodellen ook worden ingezet voor beeldherkenning en computer vision. Denk bijvoorbeeld aan objectdetectie, beeldclassificatie, analyse van videobeelden, bewegingsherkenning en medische beeldvorming. Ook toepassingen zoals materiaalinspectie, analyse van landbouwbeelden, robotics, 3D-data en digital twins kunnen binnen dezelfde infrastructuur worden onderzocht.

Deze toepassingen stellen vaak andere eisen aan de hardware dan tekstgebaseerde AI. De benodigde GPU-capaciteit, opslagruimte en netwerkverbinding zijn onder meer afhankelijk van het type beelden, de resolutie, de omvang van datasets en de gewenste verwerkingssnelheid. Daarom is het belangrijk om de infrastructuur af te stemmen op de specifieke onderzoeks- of onderwijstoepassing.

Ook creatieve opleidingen en mediastudies kunnen gebruikmaken van lokale AI-infrastructuur. Studenten en onderzoekers kunnen bijvoorbeeld experimenteren met beeldgeneratie, videobewerking, audioverwerking, 3D-content, visualisatie, conceptontwikkeling en andere generatieve modellen.

Een lokale omgeving geeft de instelling meer controle over de modellen en datasets die worden gebruikt en over de manier waarop gegenereerde uitvoer wordt verwerkt. Bovendien kunnen studenten met dezelfde centrale voorzieningen werken zonder afhankelijk te zijn van individuele abonnementen op verschillende online AI-diensten.

Voor een individuele onderzoeker of een kleinschalig project kan een professionele AI-workstation voldoende zijn. Wanneer meerdere studenten tegelijkertijd toegang nodig hebben, verschillende opleidingen dezelfde infrastructuur gebruiken of projecten centraal moeten worden beheerd, kan een centrale AI-server interessanter zijn.

Dat geldt ook wanneer API-toegang nodig is, onderzoeksdata centraal moet blijven of wanneer de instelling het gebruik en de beschikbare capaciteit centraal wil monitoren. In veel gevallen is een gefaseerde aanpak daarom verstandig. Een instelling kan beginnen met één systeem en de infrastructuur later uitbreiden wanneer het aantal gebruikers of de benodigde rekenkracht toeneemt.

Cloud-GPU's kunnen geschikt zijn voor tijdelijke pieken of zeer grote experimenten. Bij structureel gebruik kunnen de kosten echter lastiger voorspelbaar worden. Met een eigen AI-omgeving beschikt een instelling over capaciteit op locatie en ontstaat meer controle over het gebruik van de infrastructuur. Er zijn geen kosten per prompt en de beschikbare GPU-capaciteit kan over meerdere opleidingen of onderzoeksgroepen worden verdeeld. Dit maakt het bovendien eenvoudiger om de benodigde infrastructuur voor de langere termijn te plannen.

De beste keuze hoeft overigens niet uitsluitend lokaal of uitsluitend cloud te zijn. Unbound richt zich in de eerste fase op on-premise infrastructuur, waarbij externe modellen en diensten indien gewenst aanvullend gekoppeld kunnen worden.

De softwareomgeving kan worden ingericht voor verschillende typen gebruikers. Studenten kunnen bijvoorbeeld toegang krijgen tot een eenvoudige chat- of ontwikkelomgeving, terwijl onderzoekers meer technische mogelijkheden krijgen om rechtstreeks met modellen, containers, API's en datasets te werken. Afhankelijk van de toepassing kan de omgeving worden voorzien van een lokale chatinterface, modelbeheer, Jupyter-omgevingen, API-toegang, gebruikersbeheer, projectopslag en een vector database. Ook containeromgevingen, monitoring en back-upvoorzieningen kunnen onderdeel zijn van de oplossing.

De exacte inrichting wordt afgestemd op de betreffende opleiding of onderzoeksgroep en op de technische en organisatorische voorwaarden van de interne IT-afdeling.

Een AI-lab moet bij voorkeur niet afhankelijk worden van één docent of onderzoeker die alle technische kennis bezit. Daarom is het belangrijk om vooraf afspraken te maken over installatie, documentatie, updates, gebruikersbeheer, back-ups en de afhandeling van storingen.

Ook capaciteitsplanning en ondersteuning verdienen aandacht. Afhankelijk van de eisen van de instelling kan ondersteuning tijdens kantooruren worden geboden en kunnen aanvullende SLA-afspraken worden gemaakt. Unbound kan de hardware, software en ondersteuning daarbij als één geïntegreerde oplossing aanbieden.

Unbound helpt onderwijs- en onderzoeksinstellingen bij het selecteren van een passende AI-workstation of AI-server op basis van HP- en HPE-hardware. Daarbij kijken we verder dan alleen de technische specificaties.

We brengen onder andere het verwachte aantal gebruikers, de betrokken opleidingen en onderzoeksgroepen, de gewenste AI-modellen en het type datasets in kaart. Ook opslagvereisten, gebruikersrechten, integraties, beheer, support en mogelijke toekomstige uitbreiding worden meegenomen bij het samenstellen van een passende oplossing.

Zo ontstaat een AI-omgeving die niet alleen voldoende rekenkracht biedt, maar ook aansluit op de manier waarop studenten, onderzoekers en medewerkers AI daadwerkelijk willen gebruiken.

Wilt u een lokaal AI-lab, een gedeelde AI-server of een veilige kennisassistent opzetten? Neem contact op met Unbound voor een adviesgesprek en configuratievoorstel.