ChatGPT w badaniach naukowych: prace akademickie, cytowania i metody ograniczania halucynacji

ChatGPT szturmem zdobył świat akademicki jako narzędzie wspomagające pisanie i badania naukowe. Ten zaawansowany model językowy potrafi generować teksty o zaskakująco ludzkim stylu, co kusi studentów, doktorantów i naukowców do wykorzystania go przy tworzeniu prac akademickich. Czy jednak ChatGPT jest w stanie zapewnić rzetelność naukową – zwłaszcza w kwestii cytowań – bez tzw. halucynacji? Halucynacje AI to błędy polegające na generowaniu przez model informacji brzmiących wiarygodnie, lecz nieprawdziwych lub nieistniejących.

W kontekście prac naukowych najgroźniejszą formą halucynacji są sfabrykowane cytowania i źródła, które na pierwszy rzut oka wyglądają na naukowe, lecz w rzeczywistości nie istnieją. Niniejszy artykuł przybliża zastosowania ChatGPT w badaniach naukowych oraz omawia narzędzia i metody pozwalające maksymalnie wykorzystać jego potencjał przy jednoczesnym zminimalizowaniu ryzyka błędów.

Docelowi odbiorcy: Treść jest skierowana do szerokiego grona osób związanych z działalnością naukową, w tym:

Studentów piszących prace zaliczeniowe, licencjackie czy magisterskie, którzy szukają wsparcia w generowaniu pomysłów i poprawnym cytowaniu źródeł.
Doktorantów i naukowców prowadzących badania, chcących usprawnić przygotowanie literatury przedmiotu, redakcję tekstu czy tworzenie bibliografii.
Redaktorów i recenzentów naukowych, zainteresowanych narzędziami AI do wstępnej oceny tekstów (np. w zakresie stylu lub spójności bibliografii).
Autorów publikacji naukowych oraz wszystkich, którzy pracują nad artykułami i potrzebują pomocy w generowaniu poprawnych cytowań oraz listy literatury.
Użytkowników chcących automatycznie formatować cytowania i bibliografie w stylach APA, MLA, Chicago itp., przy użyciu nowoczesnych narzędzi integrujących ChatGPT z menedżerami bibliografii.

W kolejnych sekcjach omawiamy praktyczne zastosowania ChatGPT w pisaniu akademickim, integrację z narzędziami do cytowań (Zotero, Mendeley, EndNote i inne), a także konkretne metody tzw. “zero-halucynacji”, które pomagają wyeliminować zmyślone informacje. Dowiesz się, jak odpowiednio promptować (formułować polecenia) ChatGPT, jak wykorzystać mechanizmy weryfikacji oraz integrację z bazami wiedzy, by każda wygenerowana odpowiedź była oparta na rzeczywistych źródłach i faktach.

ChatGPT w pisaniu prac akademickich – możliwości i wyzwania

Wykorzystanie ChatGPT w pracy naukowej niesie ze sobą duże możliwości usprawnienia procesu pisania, ale też pewne pułapki. Z jednej strony model językowy potrafi pomóc na wielu etapach tworzenia pracy akademickiej. Według przeglądu literatury z 2024 roku, AI (w szczególności ChatGPT) wykazuje potencjał m.in. w: generowaniu pomysłów badawczych, usprawnianiu struktury tekstu, wspomaganiu przeglądu literatury, a nawet w weryfikacji językowej i korekcie stylu. Na przykład ChatGPT może:

Ułatwić start pracy – pomóc wygenerować konspekt czy tezy pracy, podsunąć listę zagadnień do omówienia, a nawet zaproponować słowa kluczowe do wyszukiwania literatury.
Poprawić styl i język – model został nauczony na ogromnym korpusie tekstów, dzięki czemu może sugerować lepsze sformułowania, sprawdzać gramatykę i płynność zdań. Jest przydatny w redagowaniu fragmentów tekstu, znajdowaniu synonimów czy wyjaśnianiu skomplikowanych idei prostszym językiem. Wielu autorów używa go do korekty językowej artykułów pisanych w nieojczystym języku, np. żeby nadać tekstowi bardziej naturalny, anglojęzyczny styl.
Pomóc w syntezie literatury – choć z zastrzeżeniami (o czym za chwilę), ChatGPT bywa wykorzystywany do podsumowania głównych punktów z danego artykułu albo wygenerowania ogólnego przeglądu danego tematu. Może np. streścić w przystępny sposób długi, techniczny akapit lub wytłumaczyć złożone koncepcje w stylu popularyzatorskim.
Przyspieszyć edycję i formatowanie – model może dostosować styl tekstu do wymogów akademickich, np. przeredagować fragment na ton bardziej formalny, usunąć kolokwializmy, a nawet sformatować podane cytowanie w stylu APA/MLA. Jeśli podamy mu surowe dane bibliograficzne, potrafi on ułożyć je w formacie wymaganym przez wytyczne (np. dodając odpowiednie kursywy, kropki, nawiasy itd.).

Z drugiej strony, ChatGPT nie zastępuje myślenia i krytycznej pracy naukowca. Jego model opiera się na statystycznych wzorcach językowych, co oznacza, że nie “rozumie” on głęboko treści merytorycznej. Generuje tekst przewidując kolejne najbardziej prawdopodobne słowa, bazując na swoim treningu, a nie poprzez faktyczną analizę danych czy źródeł. To rodzi kilka wyzwań:

Brak gwarancji prawdziwości informacji – ChatGPT może brzmieć przekonująco nawet wtedy, gdy podaje błędne odpowiedzi. Nie ma wewnętrznego mechanizmu weryfikacji faktów; jeśli w jego zbiorze treningowym brakowało pewnych danych lub były tam błędy, model może po prostu “zmyślić” brakujące elementy. Stąd właśnie biorą się „halucynacje”. Szczególnie problematyczne jest to w kontekście literatury – model bywa “bullshit generatorem” podającym zmyślone lecz przekonujące treści, jeśli brakuje mu pewnych faktów.
Możliwe generowanie plagiatów lub bezwiedne powielanie cudzych myśli – choć ChatGPT nie cytuje konkretnych fragmentów istniejących prac, to brak ostrożności przy korzystaniu z jego podpowiedzi może prowadzić do naruszenia zasad oryginalności. Model może np. zaproponować sformułowania bardzo zbliżone do czyjegoś tekstu. Dlatego ważne jest, by traktować wygenerowany tekst jako pomocniczy szkic do przeredagowania, a nie gotowy fragment do włączenia bez zmian.
Brak dostępu do aktualnych danych i publikacji – standardowa wiedza ChatGPT (np. GPT-3.5) kończy się na roku 2021. Model nie ma informacji o nowszych odkryciach ani o bardzo wąskich, specjalistycznych pracach (chyba że korzystamy z nowych funkcji przeglądania internetu lub wtyczek, o czym dalej). To oznacza, że prosząc go o stan badań na dany temat, możemy otrzymać niepełny lub przestarzały obraz. Ponadto, ChatGPT nie „przeszukuje” realnych baz danych podczas typowej rozmowy – odpowiada jedynie na podstawie swojego statystycznego „wspomnienia” z treningu.

Największym wyzwaniem jest jednak wspomniana kwestia fałszywych cytowań, którym poświęcimy osobną sekcję. Ale zanim do tego przejdziemy, zobaczmy jak połączyć możliwości ChatGPT z narzędziami do zarządzania bibliografią, co znacznie ułatwia pracę ze źródłami.

Narzędzia do cytowań: Zotero, Mendeley, EndNote i integracje z AI

Tradycyjne menedżery bibliografii – takie jak Zotero, Mendeley czy EndNote – pozostają niezastąpione w utrzymaniu porządku w literaturze. Pozwalają one przechowywać publikacje, generować cytowania w wybranym stylu i automatycznie tworzyć bibliografie. Coraz częściej integruje się je jednak z narzędziami AI pokroju ChatGPT, co daje użytkownikom nowe, wydajne workflow łączące zalety obu światów. Poniżej omawiamy te narzędzia i sposoby ich współdziałania z ChatGPT:

Zotero + dodatki AI: Zotero to darmowy, otwartoźródłowy menedżer bibliografii ceniony w świecie naukowym. Dzięki niemu można gromadzić źródła (artykuły, książki, raporty) oraz wstawiać cytowania do edytora tekstu jednym kliknięciem. Społeczność opracowała już wtyczki integrujące ChatGPT z Zotero – np. ZoteroGPT – które potrafią przeszukiwać Twoją bibliotekę Zotero za pomocą interfejsu chatbota lub generować na podstawie zebranych PDF-ów streszczenia i notatki. Choć oficjalnej wtyczki OpenAI jeszcze nie ma, są też skrypty wykorzystujące API Zotero i GPT-4 w celu ułatwienia pisania prac akademickich z bezpośrednim wstawianiem cytowań z Twojej kolekcji. Innym pomysłem jest użycie ChatGPT do formatowania danych bibliograficznych: jeśli mamy surowy opis źródła (tytuł, autorzy, rok itp.), można poprosić model o wygenerowanie z tego poprawnego wpisu np. w formacie RIS lub BibTeX. ChatGPT potrafi dość precyzyjnie konwertować takie dane do formatu RIS – pliku, który następnie importujemy do Zotero. Rozwiązanie to oszczędza czas i zmniejsza ryzyko błędów przy ręcznym wprowadzaniu danych. Przykładowy workflow: kopiujemy z jakiegoś źródła listę bibliografii, prosimy ChatGPT: „Przekonwertuj te pozycje do formatu RIS”, a otrzymany plik .ris wczytujemy do Zotero – biblioteka wzbogaci się o nowe, poprawnie opisane pozycje gotowe do cytowania.
Mendeley: To inny popularny menedżer, oferowany przez Elseviera. Również pozwala na łatwe katalogowanie literatury i wstawianie cytowań (ma wtyczki do Worda/LibreOffice). Mendeley nie posiada jak dotąd oficjalnych rozszerzeń pod ChatGPT, ale możemy korzystać z ChatGPT w sposób komplementarny. Na przykład: użyć ChatGPT do sformatowania cytowań (podobnie jak w Zotero) lub do wygenerowania szkicu bibliografii, a następnie ręcznie zweryfikować i dodać te pozycje do Mendeley. Warto tu zaznaczyć, że istnieją narzędzia online (np. Scribbr, BibGuru) oraz funkcje w Mendeley, które automatycznie generują opis bibliograficzny po podaniu DOI lub tytułu – dobrym nawykiem jest sprawdzić, czy cytowanie zaproponowane przez ChatGPT rzeczywiście istnieje, np. poprzez wyszukanie go po tytule w Mendeley lub Google Scholar, zanim je wykorzystamy. Mendeley eksperymentuje też z AI – według niektórych doniesień integruje funkcje oparte na AI do ułatwienia zarządzania literaturą, choć głównie wewnątrz własnej aplikacji (np. rekomendacje literatury). W kontekście ChatGPT, Mendeley po prostu pełni rolę bazy literatury, do której importujemy zweryfikowane już źródła znalezione z pomocą AI.
EndNote: Jako jedno z najstarszych narzędzi do zarządzania bibliografią, EndNote również wspiera style cytowań i integruje się z edytorami tekstu. Dla EndNote pojawiają się rozwiązania typu “Citation Injector” – np. wtyczki ChatGPT generujące pliki .enw (format EndNote) z podanych danych. Oznacza to, że podobnie jak przy Zotero/RIS, można wykorzystać ChatGPT do konwersji listy referencji na format EndNote i szybko je zaimportować. EndNote wspiera też ciekawy scenariusz: cytowanie samego ChatGPT. Jeśli w swojej pracy chcesz zacytować wypowiedź wygenerowaną przez AI, pojawia się pytanie jak to uwzględnić w bibliografii – APA i inne style już wydały wytyczne, by traktować AI jako źródło osobowe (np. OpenAI jako autor, ChatGPT jako tytuł wpisu). EndNote (oraz Zotero/Mendeley) można zatem wykorzystać do przechowywania informacji o wykorzystanej wersji modelu (data, wersja) i wstawiania odpowiednio sformatowanych przypisów, zgodnie z najnowszymi standardami cytowania treści generowanych przez AI. Choć jest to nieco inny aspekt, warto o nim wspomnieć, gdyż świadczy o dostosowywaniu się ekosystemu cytowań do obecności AI.
Integracje ChatGPT z generatorami cytowań online: Oprócz pełnoprawnych menedżerów, istnieją lekkie narzędzia jak BibGuru, EasyBib czy Citation Machine, które formatowały cytowania automatycznie. Obecnie powstają wtyczki ChatGPT, które robią to bezpośrednio w interfejsie czatu. Przykładem jest plugin Citation and Reference Finder w ChatGPT, który pozwala wkleić zdanie lub twierdzenie, a następnie wyszukuje w literaturze (np. w CrossRef lub innych bazach) pasujące źródła potwierdzające daną informację. W praktyce oznacza to, że ChatGPT może stać się dla nas inteligentnym wyszukiwarkowym asystentem do znajdowania cytowań, pod warunkiem użycia takich rozszerzeń. Co istotne, pluginy tego typu zwracają rzeczywiste publikacje zamiast halucynacji – działają na zasadzie Retrieval Augmented Generation, czyli najpierw przeszukują bazę danych, a potem generują odpowiedź opartą na znalezionych źródłach. OpenAI udostępniło też oficjalną wtyczkę przeglądarki internetowej dla ChatGPT, która potrafi cytować strony internetowe w odpowiedziach. Dzięki niej model podaje źródła do swoich twierdzeń – użytkownik widzi wtedy przypis z linkiem. Taka transparentność umożliwia nam zweryfikowanie, czy odpowiedź jest poparta faktami. W szerszym ujęciu, podłączanie ChatGPT do zewnętrznych baz wiedzy i internetu jest kluczowym kierunkiem rozwoju, ponieważ znacząco zmniejsza częstotliwość halucynacji. W naszym własnym zastosowaniu możemy to imitować: ręcznie sprawdzając w Google Scholar/PubMed każdy artykuł podany przez ChatGPT lub korzystając z trybu przeglądania (jeśli dostępny), by odpowiedź była “na żywo” uźródłowiona.

Podsumowując, umiejętne połączenie ChatGPT z narzędziami do cytowań daje oszczędność czasu i wygodę: możemy korzystać z AI do generowania treści i wstępnych propozycji źródeł, ale końcowe zarządzanie bibliografią oraz jej formatowanie warto przekazać wyspecjalizowanym programom (Zotero, Mendeley, EndNote). One zagwarantują zgodność ze stylami cytowań i ułatwią reorganizację literatury, podczas gdy ChatGPT posłuży za asystenta w wyszukiwaniu informacji i przyspieszaniu pisania. Kluczowe jest jednak, by nie ufać ślepo propozycjom źródeł od ChatGPT – tutaj wkracza koncepcja zerowej halucynacji, którą omówimy poniżej.

Halucynacje AI: problem z fałszywymi cytowaniami

Jednym z najpoważniejszych ograniczeń użycia ChatGPT w nauce jest jego skłonność do “halucynowania” bibliografii, czyli wymyślania źródeł. Wygląda to tak: prosimy model o listę publikacji na dany temat lub o dodanie cytowań do tekstu – i otrzymujemy elegancko sformatowane pozycje, które brzmią wiarygodnie, lecz często nie istnieją. Może to być szczególnie zdradliwe, gdy nazwy autorów czy czasopism są prawdziwe, ale są one połączone w nieistniejące kombinacje. Dla przykładu, bibliotekarz z SMU poprosił ChatGPT o źródła nt. wychwytywania dwutlenku węgla i dostał listę trzech rzekomych artykułów – każdy z nich okazał się fikcyjny, mimo że zawierał nazwiska uznanych autorów i renomowane tytuły czasopism. Model „pozszywał” elementy istniejących publikacji w nowe, nieistniejące prace.

Jak częsty to problem? Badania z 2023 i 2024 roku systematycznie przyjrzały się temu zjawisku. Wyniki są alarmujące:

Ponad połowa cytowań generowanych przez ChatGPT-3.5 bywa fałszywa. W analizie obejmującej 6 różnych badań stwierdzono, że średnio 51% wygenerowanych odnośników nie miało pokrycia w rzeczywistości. W jednym eksperymencie z dziedziny radiologii, na 343 podanych przez GPT-3.5 cytowań aż 64% nie dało się odnaleźć w PubMed ani w internecie – były to wytwory wyobraźni modelu. Podobnie w innych dyscyplinach: odsetek halucynacji wahał się od ~47% do nawet 69%. To znaczy, że prosząc chatbota o bibliografię, mamy spore szanse otrzymać miks prawdy i fałszu.

GPT-4 radzi sobie lepiej, ale nadal nie jest wolny od tego problemu. Nowsza generacja modelu (dostępna od 2023 r. dla subskrybentów ChatGPT Plus) zmniejszyła częstotliwość halucynacji, lecz ich nie wyeliminowała. W badaniu, gdzie GPT-3.5 i GPT-4 generowały krótkie prace przeglądowe, stwierdzono, że 18% cytowań z GPT-4 było zmyślonych, wobec 55% w przypadku GPT-3.5. Innymi słowy, prawie co piąta pozycja bibliografii podana przez GPT-4 okazała się nieprawdziwa. Ponadto nawet prawdziwe referencje od GPT-4 często zawierały drobne błędy – ok. 24% z nich miało błędy merytoryczne w szczegółach (np. przekręcone tytuły, numery stron, daty), podczas gdy w GPT-3.5 aż 43% prawdziwych cytowań miało jakieś istotne uchybienia. Wniosek: GPT-4 to krok naprzód pod względem rzetelności, ale nadal wymaga weryfikacji – nie można zakładać, że cokolwiek nam poda, jest na pewno poprawne.

Halucynacje dotyczą nie tylko artykułów, ale też DOI, URL i innych danych. W dziedzinach takich jak humanistyka zauważono, że ChatGPT często generuje nieprawidłowe numery DOI – w jednym badaniu aż 89% DOI do prac humanistycznych okazało się halucynacjami. Nawet jeśli praca istnieje, model potrafi przypisać jej błędny identyfikator cyfrowy. Zdarza się również, że do wymyślonych artykułów chatbot dopisuje linki URL – które prowadzą donikąd lub do niepowiązanych treści. To wszystko utrudnia mniej doświadczonemu użytkownikowi zorientowanie się, które źródło jest prawdziwe.

Model bywa przekonujący nawet przyłapany na halucynacji. Co gorsza, gdy zapyta się ChatGPT wprost „Czy ta referencja jest prawdziwa?” lub „Czy zdarza ci się wymyślać cytowania?”, odpowiedzi bywają nietrafne lub zaprzeczające oczywistym faktom. Innymi słowy, AI może z pełnym przekonaniem utrzymywać fałsz, tak jak osoba mówiąca coś w amoku. Dlatego nie należy liczyć na samego chatbota w kwestii weryfikacji jego odpowiedzi – to my musimy przejąć tę rolę.

Dlaczego tak się dzieje? Podstawowy powód jest taki, że ChatGPT nie posiada bazy danych literatury naukowej ani mechanizmu wyszukiwania w momencie generowania odpowiedzi (chyba że używamy trybów zewnętrznych/pluginów). Gdy prosimy go o cytowanie, stara się ”wygenerować” coś, co wygląda jak cytowanie – bo tego nauczył się w trakcie treningu (widząc wiele przykładów bibliografii). Nie ma jednak gwarancji, że ”zapamiętał” akurat konkretną prawdziwą publikację pasującą do naszego zapytania. Zamiast tego skleja fragmenty znanych sobie referencji: łączy nazwiska znanych autorów, tytuły brzmiące na temat i nazwy czasopism naukowych w pozornie spójne całości. Ponieważ często w literaturze powtarzają się pewne słowa kluczowe, a styl opisu bibliograficznego jest jednolity, rezultat bywa złudnie prawdopodobny. Model nie “wie”, że oszukuje – on tylko spełnia nasze polecenie generowania tekstu wyglądającego na poprawny przypis, nie mając wbudowanego dostępu do prawdziwych źródeł.

Konsekwencje halucynacji w pracy naukowej mogą być poważne. W najlepszym razie tracimy czas próbując zlokalizować widmo artykułu, którego nie ma. W najgorszym – jeśli halucynacja nie zostanie wyłapana przed publikacją – narażamy się na podważenie wiarygodności całej pracy, a nawet zarzuty o fabrykację danych. Rzetelne cytowania to fundament nauki: pozwalają czytelnikom sprawdzić dowody, osadzić nowe wyniki w kontekście i oddać kredyt poprzednikom. Fałszywe cytowania podkopują każdy z tych celów – wprowadzają czytelnika w błąd, wskazując na literaturę, której nie ma, i marnują jego czas. Z tego względu korzystając z ChatGPT musimy wdrożyć strategie zapobiegające halucynacjom. Poniżej opisujemy zestaw takich metod, które razem pozwalają osiągnąć swoiste “zero halucynacji” – czyli workflow, w którym każda informacja od AI zostaje potwierdzona.

Metody “zero-halucynacji”: jak zapewnić rzetelność odpowiedzi ChatGPT

Całkowite wyeliminowanie halucynacji wymaga świadomego podejścia do korzystania z ChatGPT. Poniżej przedstawiamy konkretne techniki i dobre praktyki, które zminimalizują ryzyko błędów merytorycznych i fikcyjnych źródeł w odpowiedziach. Te metody – od sprytnego projektowania promptów, przez iteracyjne sprawdzanie, po wsparcie zewnętrznych narzędzi – pomagają uczynić z ChatGPT wartościowego, dokładnego asystenta naukowego zamiast generatora losowych treści.

1. Precyzyjne prompty i instrukcje dla modelu

Pierwszą linią obrony jest odpowiednie sformułowanie poleceń dla ChatGPT, czyli tzw. prompt engineering. Jeżeli chcemy uzyskać rzetelną, uźródłowioną odpowiedź, musimy tego wyraźnie zażądać. Kilka wskazówek:

Żądaj realnych źródeł i zakazuj zmyślania. Już w samym pytaniu można zawrzeć instrukcje typu: „Podaj odpowiedź wraz z prawdziwymi referencjami (książkami lub artykułami naukowymi) w stylu APA. Nie wymyślaj cytowań – jeśli nie masz pewności co do źródła, poinformuj o tym.” Taki komunikat ustawia oczekiwania modelu. Co prawda nie daje to gwarancji (ChatGPT i tak nie posiada wewnętrznej bazy źródeł), ale eksperymenty pokazują, że może on wówczas bardziej ostrożnie dobierać informacje. Przykładem jest tu „prompt whispering” opisany przez Leona Furze: autor polecił ChatGPT wygenerować esej z użyciem prawdziwych źródeł, zakazem fabrykowania referencji i wymogiem by wszystkie były publicznie dostępne. W pierwszej próbie model co prawda podał tylko źródła pierwotne (np. powieści Jane Austen), ale po doprecyzowaniu polecenia zaczął dodawać również publikacje krytyczne. Ważne jest więc, by jasno komunikować zasady – model “słysząc” słowa do not fabricate references bywa ostrożniejszy.
Proś o podawanie danych do weryfikacji. Można poprosić, by ChatGPT oprócz samej odpowiedzi dostarczył np. tytuły artykułów, DOI lub linki źródłowe (jeśli to możliwe). Na przykład: „Streszczij ten temat i podaj 2-3 istniejące publikacje (najlepiej z DOI), na których się opierasz.” Mając DOI lub pełny tytuł, łatwiej samodzielnie sprawdzimy, czy praca istnieje. Gdy model wie, że ma podać DOI, często generuje je w formacie – co pozwala nam od razu go kliknąć i zobaczyć, czy jest prawidłowy (większość nieprawidłowych DOI zwraca błąd). Uwaga: ChatGPT może wstawić zmyślony DOI (np. będący losowym ciągiem) – zawsze weryfikujmy go na doi.org lub w Google.
Dziel zadanie na mniejsze kroki (chunking). Złożone polecenia zwiększają ryzyko błędów. Lepiej prowadzić model krok po kroku. Np. zamiast żądać: „Napisz przegląd literatury z 10 cytowaniami” (co prowokuje go do halucynacji, by spełnić limit 10), można: (a) poprosić o ogólny zarys i ewentualnie zapytać, jakie kluczowe prace mogłyby być cytowane; (b) następnie poprosić o podanie szczegółów tych prac (tu zweryfikować je ręcznie); (c) na końcu wygenerować finalny tekst używając już zweryfikowanych tytułów. Takie iteracyjne, precyzyjne instrukcje pomagają modelowi trzymać się faktów. To realizacja zasady „be precise, break down the task, iterate” – zalecanej przez doświadczonych użytkowników promptów.
Ustal rolę i styl odpowiedzi. Można zmusić model do przyjęcia roli np. surowego recenzenta, który “podaje tylko sprawdzone informacje” lub bibliografa. Role-play bywa użyteczne: „Wyobraź sobie, że jesteś bibliotekarzem, który ma znaleźć źródła na ten temat. Bądź drobiazgowy i jeśli jakiegoś faktu nie da się potwierdzić w literaturze, nie podawaj go.” Takie nastawienie czasem wpływa pozytywnie na jakość cytowań, bo model kojarzy rolę bibliotekarza z rzetelnością (to oczywiście heurystyka, ale może pomóc).

Podsumowując: dobry prompt to taki, który wyznacza jasne oczekiwania (np. “podaj źródła, nie zmyślaj”), ogranicza pole do fantazji (np. prosząc o konkrety: tytuły, nazwiska) i dopuszcza brak odpowiedzi, jeśli model “nie wie” (np. “jeśli nie masz danych, przyznaj to”). Ostatni element jest ważny – lepiej by ChatGPT odmówił spekulacji, niż miał halucynować. W praktyce jednak rzadko sam z siebie odmówi; potrzebne są kolejne metody wspomagające.

2. Weryfikacja poprzez Chain-of-Verification (CoVe)

Chain-of-Verification, czyli łańcuch weryfikacji, to nowa technika projektowania rozmowy z AI, która polega na skłonieniu modelu do samodzielnego sprawdzenia i poprawienia swojej odpowiedzi zanim przedstawi ją użytkownikowi. W odróżnieniu od bardziej znanego Chain-of-Thought (łańcuch myśli, gdzie model rozwiązuje zadanie krok po kroku), CoVe wprowadza etap krytycznej oceny faktów. Jak to wygląda w praktyce?

Metoda CoVe składa się z czterech kroków:

Generacja wstępnej odpowiedzi – najpierw prosimy model o zwykłą odpowiedź na pytanie. Ta odpowiedź może zawierać błędy.
Planowanie weryfikacji – następnie polecamy modelowi: „Wymyśl pytania sprawdzające, które pozwolą zweryfikować każdy kluczowy fakt z powyższej odpowiedzi.” ChatGPT wygeneruje listę prostych pytań dotyczących poszczególnych twierdzeń w swojej poprzedniej odpowiedzi. To jakby punkty do odhaczenia – np. jeśli pierwotnie wymienił nazwiska polityków urodzonych w Nowym Jorku, pytania weryfikujące będą brzmiały: “Gdzie urodził się X? Gdzie urodził się Y?”.
Sprawdzenie faktów – teraz każemy modelowi odpowiedzieć na te pytania weryfikujące, jeden po drugim. Kluczowe jest rozdzielenie ich – pojedyncze pytanie jest dla modelu łatwiejsze i mniejsze ryzyko, że pomiesza fakty. W naszym przykładzie model osobno sprawdzi miejsca urodzenia każdej osoby i poda je (tutaj akurat ChatGPT zna te fakty ze zbioru treningowego, więc potrafi poprawnie odpowiedzieć: np. “Hillary Clinton urodziła się w Chicago…” – co obala błąd, bo wcześniej omyłkowo wpisał ją do urodzonych w Nowym Jorku).
Wygenerowanie poprawionej odpowiedzi – w ostatnim kroku prosimy: „Popraw pierwotną odpowiedź, uwzględniając wyniki weryfikacji.” Model otrzymuje swoje własne odpowiedzi weryfikacyjne jako kontekst i na tej podstawie modyfikuje pierwotny tekst, korygując błędy. Efekt końcowy jest znacznie bliższy prawdzie niż początkowy, ponieważ oczyścił treść z niezgodności wykazanych podczas weryfikacji.

Tę metodę można zastosować również do cytowań. Przykładowo, jeżeli ChatGPT wygenerował listę referencji, możemy w kroku 2 kazać mu wymyślić pytania weryfikujące każdą referencję: „Czy artykuł o tytule X rzeczywiście istnieje? Kto jest jego autorem? Kiedy został opublikowany?”. Następnie w kroku 3 model spróbuje na każde odpowiedzieć – co zmusza go do ponownego “przemyślenia” czy gdzieś nie popełnił błędu.

Oczywiście model nie ma bazy danych, więc może weryfikować jedynie według tego co wie. Jednak badania wskazują, że CoVe zmniejsza halucynacje w porównaniu do tradycyjnego generowania odpowiedzi. Model wyróżnia fakty do sprawdzenia i koncentruje się na nich, zamiast na płynnym opowiadaniu bajki. W pewnym eksperymencie CoVe przyniosło lepszą dokładność odpowiedzi niż nawet podpowiedzi kilkoma przykładami czy klasyczny chain-of-thought.

Warto podkreślić, że CoVe nie gwarantuje 100% bezbłędności – nadal opiera się na wiedzy modelu, więc jeśli czegoś nie miał w danych treningowych, to sobie tego nie zweryfikuje. Jednak eliminuje wiele oczywistych pomyłek, a co ważne, może wychwycić wewnętrzne niespójności odpowiedzi. W trybie normalnym model potrafi zaprzeczyć sam sobie w kolejnych zdaniach (np. wcześniej twierdzić A, później B). Dzięki CoVe zada pytanie weryfikujące i zauważy sprzeczność, po czym ją poprawi. To czyni odpowiedź bardziej spójną i logiczną.

Stosując chain-of-verification w praktyce nie musimy ręcznie realizować każdego kroku – możemy formułować prompt tak, by model sam przeszedł przez te etapy. Na przykład: „Najpierw odpowiedz na pytanie. Następnie wypisz pytania, które można zadać, by zweryfikować fakty z twojej odpowiedzi. Odpowiedz na te pytania na podstawie swojej wiedzy. Na końcu podaj finalną, poprawioną odpowiedź.”. ChatGPT powinien wykonać sekwencję działań. Jeżeli to nie zadziała automatycznie (może to zbyt skomplikowane na jeden prompt), prowadźmy go manualnie krok po kroku, jak opisano wyżej – to też okazja, by nam samym przyjrzeć się poszczególnym faktom.

3. Metoda “retrieve-then-answer” – najpierw szukaj, potem pisz

Najskuteczniejszym sposobem na uniknięcie halucynacji jest wyposażenie modelu w prawdziwe informacje przed generowaniem odpowiedzi. Koncepcja retrieve-then-answer polega na tym, by najpierw odszukać potrzebne fakty w wiarygodnych źródłach, a dopiero potem pozwolić ChatGPT wygenerować odpowiedź posiłkując się tymi faktami. W praktyce możemy to osiągnąć na kilka sposobów:

Samodzielne dostarczenie kontekstu: Jeżeli mamy dostęp do pewnych danych (np. fragmentu artykułu, raportu, notatek), możemy je wkleić do czatu i powiedzieć: „Oto materiał źródłowy. Odpowiedz na pytanie, opierając się wyłącznie na powyższym tekście.” Jest to forma „zamknięcia” modelu w kontekście – zmuszamy go do korzystania tylko z tego, co daliśmy, zamiast zgadywać z ogólnej wiedzy. Przykładowo, jeśli piszemy przegląd literatury, możemy zebrać streszczenia kilku kluczowych prac i wkleić je, a następnie poprosić ChatGPT o ich syntezę. To drastycznie ogranicza możliwość halucynacji, bo model operuje na dostarczonym materiale, zamiast na domysłach. Oczywiście wymaga to od nas przygotowania tych materiałów, ale zapewnia, że każda wygenerowana informacja gdzieś jest w tekście źródłowym. W nowym ChatGPT (zwłaszcza GPT-4) okno kontekstu jest na tyle duże, że można przekazać nawet kilkanaście stron tekstu. Należy tylko przypilnować, by wyraźnie zaznaczyć, że nie chcemy żadnych informacji spoza tego kontekstu. To jakbyśmy prowadzili chatbota za rękę: „Masz tu fragmenty trzech artykułów. Napisz podsumowanie ich wspólnych wniosków. Nie wychodź poza informacje z tych tekstów.”.
Wykorzystanie wtyczek i narzędzi RAG: Wspomniane już wcześniej RAG (Retrieval Augmented Generation) to podejście, gdzie model sam przeszukuje bazy danych w trakcie generowania odpowiedzi. Jeśli mamy dostęp do ChatGPT z pluginami, możemy użyć np. wtyczki WebPilot lub ScholarAI, które automatycznie wykonają zapytanie w internecie lub w bazach publikacji. Wtedy model otrzymuje prawdziwe artykuły i cytuje je zamiast halucynować. Według ekspertów, dobrze zaimplementowany RAG znacząco obniża częstość halucynacji, bo chatbot jest “uziemiony” do znalezionych treści. Nie jest to jednak kulawe – jakość zależy od tego, jak dobry jest moduł wyszukiwania i czy potrafi znaleźć adekwatne informacje. Przykładowo, jeśli baza jest ograniczona lub wyszukiwarka zwróci coś nie na temat, model może i tak pójść w błędną stronę. Niemniej, perspektywa jest obiecująca: „augmentacja” ChatGPT o live-search może w przyszłości niemal wyeliminować halucynacje faktyczne. Już teraz open-source’owe projekty pozwalają zbudować własną bazę wiedzy dla GPT – np. możemy załadować do wewnętrznej wyszukiwarki kilkadziesiąt PDF-ów (np. nasze ulubione artykuły z dziedziny) i poprosić AI, by odpowiadało tylko jeśli znajdzie coś w tych PDFach. To tak jakby mieć swojego ChatGPT wyszkolonego na konkretnym, zawężonym korpusie literatury – i to jest idealny scenariusz, by uniknąć nieprawdziwych informacji.
Kompromis: najpierw ChatGPT, potem my szukamy źródeł. Jeśli nie dysponujemy pluginami, można zastosować strategię: ChatGPT proponuje – człowiek sprawdza. Czyli: prosimy go o np. „podaj 5 kluczowych prac o [temat] wraz z 2-3 zdaniowym opisem każdej”. Następnie weryfikujemy każdą z tych prac samodzielnie: szukamy w Google Scholar czy taka publikacja istnieje. Jeżeli tak – świetnie, możemy nawet pobrać i przeczytać jej abstrakt, by potwierdzić, że opis od ChatGPT jest zgodny z treścią. Jeśli którejś pracy nie ma – odrzucamy ją i prosimy model o alternatywę lub sami szukamy innej. W ten sposób ChatGPT służy jako inspiracja (czasem może “zgadnąć” coś pół-poprawnie, np. poda nieistniejący artykuł łączący nazwisko X z Y, ale okaże się, że autor X faktycznie pisał o tym temacie, tylko tytuł jest inny – wtedy dzięki temu tropowi znajdziemy realną pracę). To przypomina tradycyjny research, tylko z sugestiami od AI. Kluczowe jest jednak, by żadnej sugestii nie przyjmować bez sprawdzenia.

4. Iteracyjne sprawdzanie faktów: “Generate, check, correct”

Nie poprzestawaj na pierwszej odpowiedzi. Traktuj wynik z ChatGPT jako wersję roboczą, którą należy dokładnie przejrzeć. Podejście „wygeneruj, sprawdź, popraw” zakłada, że po otrzymaniu tekstu od AI wykonujemy dodatkowe działania:

Ręczna walidacja kluczowych twierdzeń. Weźmy każdą istotną informację wygenerowaną przez model i spróbujmy potwierdzić ją w niezależnym źródle. Jeśli ChatGPT twierdzi, że “Badanie X wykazało Y”, poszukajmy badania X (np. w Scholarze) i sprawdźmy, czy rzeczywiście to wykazało. Jeśli model podaje konkretną datę, liczbę, nazwę – upewnijmy się, że jest poprawna. Czasem wystarczy zdroworozsądkowa ocena: czy to brzmi prawdopodobnie? czy kojarzymy z literatury podobne dane? Nigdy nie zakładajmy, że wszystko jest ok tylko dlatego, że tekst jest płynny i gramatycznie poprawny. ChatGPT często błędy przedstawia takim samym tonem pewności, co prawdy, więc musimy samodzielnie odsiać jedne od drugich.

Porównanie z oryginalnymi źródłami. Jeśli użyliśmy ChatGPT do streszczenia artykułu, koniecznie porównajmy streszczenie z oryginałem. Model może czasem przeinaczyć konkluzje (jak w przykładzie z pracą Chetty’ego – ChatGPT przypisał autorowi tezę odwrotną do faktycznej). Dopóki sami nie przeczytamy oryginału, ryzykujemy, że wprowadzimy do swojej pracy cudze słowa pozbawione właściwego sensu. Zasada: nie cytuj niczego za pośrednictwem ChatGPT, czego sam nie widziałeś na oczy. Jeżeli chatbot przytacza jakiś cytat z książki lub artykułu – odszukaj ten cytat w tekście pierwotnym, żeby sprawdzić kontekst.

Korygowanie i ponowne zapytanie modelu. Gdy wykryjemy błąd, można wrócić do ChatGPT i go poprawić. Przykładowo: „W powyższej odpowiedzi stwierdziłeś, że Autor X napisał Y, ale to nieprawda (sprawdziłem, nie ma takiego fragmentu w jego pracy). Skoryguj odpowiedź, pomijając tę informację.”. Model zwykle przeprosi i poprawi treść. Możemy też użyć tego jako testu – specjalnie powiedzieć: „Nie znalazłem źródła potwierdzającego dane twierdzenie, czy możesz podać konkretne odniesienie lub usunąć je?”. Jeśli to halucynacja, ChatGPT często wtedy wycofa się lub zmieni zdanie. Iteracja polega na tym, że na przemian korzystamy z wiedzy AI i własnej, by zbliżać się do poprawnej odpowiedzi. Tę zasadę stosują doświadczeni użytkownicy: rzadko kiedy pierwsza odpowiedź chatbota jest tą finalną, zwykle dopiero po kilku rundach doprecyzowań i poprawek otrzymujemy satysfakcjonujący wynik.

Sprawdzenie całości z “chłodną głową”. Po naniesieniu poprawek odłóżmy tekst na chwilę, po czym przeczytajmy go całościowo. Czy wszystkie akapity są spójne i sensowne? Czy gdzieś nie ma oczywistych nonsensów? (Niekiedy ChatGPT potrafi zawrzeć zdania brzmiące mądrze, ale z logicznego punktu widzenia pozbawione treści lub nawet sprzeczne – tzw. hallucinated reasoning). Taka finalna autoryzacja treści przez człowieka jest nieodzowna. Jak zauważa wielu ekspertów, nie można ślepo ufać AI w kontekście pracy naukowej – ludzkie zrozumienie i krytycyzm są filtrem, który musi oczyścić output ze wszystkich ewentualnych błędów.

5. Ograniczanie się do dostarczonego materiału (tryb “zamkniętej książki”)

Powiązane z metodą retrieve-then-answer, ale warte podkreślenia osobno: dostarczaj modelowi materiały wejściowe zawsze, gdy to możliwe. Jeśli zadajesz pytanie o konkretne źródło, wklej kluczowy fragment tego źródła do czatu. Jeśli chcesz analizy danych, podaj te dane w promptcie. Innymi słowy, nie testuj wiedzy modelu tam, gdzie sam możesz mu tę wiedzę dać. Unikniesz w ten sposób sytuacji, że model nie wie, ale i tak coś wymyśla. Gdy informacje są podane explicite, ChatGPT raczej stara się ich trzymać – jego mechanizm jest tak skonstruowany, by nie odbiegać od podanego kontekstu (bo to by obniżyło spójność z promptem).

Co prawda są przypadki, że doda od siebie coś spoza kontekstu, ale wtedy łatwo to wychwycić, bo my znamy cały przekazany tekst. Można mu zresztą wydać wyraźny zakaz: „Udziel odpowiedzi wyłącznie na podstawie powyższego akapitu. Jeśli czegoś tam nie ma, napisz że brak informacji.”. Zmuszenie modelu do trybu “open book” (odpowiadania tylko z książki, którą mu pokazujemy) to świetny sposób na kontrolowanie źródeł. Wymaga to oczywiście posiadania tych materiałów – co bywa pracochłonne – ale jeśli już je mamy (np. zebrana literatura), integracja ich w rozmowę z ChatGPT czyni tę rozmowę dużo bardziej produktywną i rzetelną.

6. Wykorzystanie zewnętrznych narzędzi weryfikacyjnych

Na koniec, warto wspomnieć o roli tradycyjnych narzędzi i zdrowego rozsądku. ChatGPT może nam sugerować różne rzeczy, ale:

Google Scholar, PubMed, CrossRef to przyjaciele, nie rywale. Gdy w odpowiedzi pada tytuł artykułu czy książki, od razu odpalmy te serwisy i sprawdźmy. Wpisanie tytułu w cudzysłowie w Google Scholar zazwyczaj w sekundę pokaże, czy taka publikacja istnieje. Jeśli nie wyskakuje nic – to 99% pewności, że mamy halucynację (ewentualnie praca jest tak nowa/nietypowa, że GS jej nie indeksuje, ale to rzadkie). CrossRef DOI lookup jest przydatny do zweryfikowania DOI – jeśli DOI jest fałszywy, wyszukiwarka go nie znajdzie. PubMed/Medline są dobre do sprawdzania prac z nauk medycznych/przyrodniczych. Z kolei WorldCat może pomóc potwierdzić istnienie książki. Używajmy tych narzędzi jak filtru: ChatGPT daje listę – my sprawdzamy każdy element w bazie danych.

Zotero i Mendeley jako detektory widm. Jeśli mamy już swoją bibliotekę literatury w Zotero czy Mendeley, spróbujmy dodać do niej referencję podaną przez ChatGPT, np. wyszukując po tytule/autorze przez funkcję “Add by identifier” (z DOI) czy “Search by title”. Brak wyników sugeruje, że coś jest nie tak. Albo odwrotnie: znajdujemy podobną pracę, co skłania nas do zamiany halucynacji na prawdziwy odpowiednik.

Konsultacja z ludźmi. Gdy mamy wątpliwości co do poprawności informacji – zapytajmy współpracownika, mentora lub nawet… bibliotekarza. Wiele bibliotek akademickich już teraz ostrzega przed halucynacjami AI i zachęca studentów: „Jeśli coś wygląda podejrzanie, przyjdź do nas – pomożemy znaleźć prawdziwe źródło”. Ostatecznie, krytyczne oko człowieka jest najlepszym narzędziem walidacji. AI może znacznie przyspieszyć zdobywanie informacji, ale nie zastąpi procesu oceny ich wiarygodności.

Przykładowy workflow: od ChatGPT, przez Zotero, do finalnej pracy

Na koniec prześledźmy krótko, jak można praktycznie połączyć powyższe wskazówki w spójnym procesie pisania pracy akademickiej:

Rozpoczęcie – burza mózgów z ChatGPT: Zaczynamy od zadania ChatGPT pytania badawczego lub tematu. Pozwalamy mu wygenerować listę podtematów, potencjalnych kierunków argumentacji, a nawet kilku ogólnych źródeł. Przykład: “Planuję napisać esej o wpływie AI na etykę badań naukowych. Jakie podtematy powinienem uwzględnić?” Otrzymujemy np. punkty: wpływ na plagiat, fabrykowanie danych, autorstwo, potrzebę nowych regulacji itp. – to pomaga ułożyć zarys pracy.

Wyszukiwanie literatury – iteracja AI i bazy danych: Na podstawie podpowiedzi ChatGPT formułujemy zapytania w Google Scholar/PubMed, aby znaleźć realne publikacje. Możemy też poprosić ChatGPT o kilka referencji do każdego podtematu, ale każdą sprawdzamy. Wybieramy kilkanaście solidnych źródeł (np. artykułów, raportów).

Budowanie bazy w Zotero: Dodajemy znalezione publikacje do Zotero (ręcznie poprzez DOI lub automatycznie przez wtyczkę przeglądarki). Porządkujemy je tagami czy folderami wg podtematów. Teraz mamy pewność, że nasza bibliografia jest prawdziwa i gotowa do wstawiania w tekst.

Tworzenie szkicu sekcji przy pomocy ChatGPT: Dla każdego podtematu (np. wpływ AI na plagiat) zbieramy kluczowe myśli z 2-3 źródeł. Możemy nawet skopiować fragmenty tych źródeł i dać ChatGPT z prośbą o sparafrazowanie lub podsumowanie. Na tym etapie posługujemy się trybem zamkniętych informacji: dostarczamy modelowi konkretne dane i prosimy o ich obróbkę, bez dodawania niczego spoza. Otrzymujemy paragrafy omówienia – sprawdzamy ich poprawność względem źródeł (najlepiej sami znamy już te prace, więc oceniamy czy sens zachowany).

Łączenie wszystkiego w całość: Korzystając z edytora (Word, Google Docs) piszemy właściwą treść pracy, wklejając wypracowane z AI fragmenty i wstawiając cytowania z Zotero/Mendeley tam, gdzie są potrzebne. Dzięki menedżerowi cytowań każdy paragraf od razu dostaje odpowiedni przypis, a na końcu automatycznie tworzy się bibliografia. Jeśli w trakcie brakuje jakiejś informacji, np. chcemy dodać statystykę czy definicję, pytamy ChatGPT – ale tylko jako pomoc, i znów weryfikujemy rezultat.

Weryfikacja “zero-halucynacji”: Przed finalizacją, przechodzimy akapit po akapicie i sprawdzamy każdą informację. Wspomagamy się CoVe: jeśli jakiś fragment budzi wątpliwości, przepytujemy ChatGPT pomocniczo albo szukamy w źródłach. Wszystkie cytowania już mamy prawdziwe (bo z Zotero), więc tu jesteśmy bezpieczni. Upewniamy się, że lista bibliografii zawiera tylko rzeczy, które faktycznie zostały użyte i istnieją – menedżery robią to automatycznie, ale warto rzucić okiem czy np. nie zostały ślady po jakichś testowych, fikcyjnych źródłach.

Ostateczna redakcja: Możemy poprosić ChatGPT o sugestie stylistyczne dla fragmentu (bez zmiany merytoryki) albo o streszczenie całej pracy (co zweryfikuje, czy logika się spina – jeśli AI summary czegoś nie obejmuje lub coś dodaje, to znak, żeby to sprawdzić). Jednak wprowadzamy już tylko drobne korekty. Na koniec jasno oznaczamy wkład ChatGPT, jeśli wymaga tego polityka uczelni czy czasopisma – np. we wstępie lub przypisie informujemy, że “Przy pisaniu korzystano z asystenta AI w zakresie X, a wszelkie wygenerowane treści zostały zweryfikowane przez autora”. To element etyczny, coraz częściej wymagany.

Taki workflow demonstruje główną zasadę: ChatGPT jest naszym pomocnikiem, nie zastępcą. To my – jako świadomi użytkownicy – musimy nadać kierunek, dostarczyć właściwe dane i odfiltrować błędy. Wtedy jego udział może znacznie zwiększyć wydajność pisania i badań, nie narażając nas na kompromitujące pomyłki.

Zakończenie

ChatGPT zmienia reguły gry w pisaniu akademickim, oferując bezprecedensową pomoc w generowaniu tekstu, pomysłów i nawet formatowaniu cytowań. Jednak jak każde potężne narzędzie, wymaga odpowiedzialnego użycia. Największym wyzwaniem są halucynacje – od błędnych faktów po zmyślone bibliografie – które mogą podważyć naukową rzetelność pracy. Na szczęście, dysponujemy coraz lepszym rozumieniem, jak tych halucynacji unikać. Poprzez staranne prompt engineering, metody weryfikacji (jak chain-of-verification czy retrieval-based prompting) oraz integrację z realnymi bazami wiedzy i menedżerami literatury, możemy osiągnąć wysoki poziom dokładności i zaufania do odpowiedzi generowanych przez AI.

Kluczem jest tu synergia człowieka i AI: ChatGPT może zaoszczędzić godziny żmudnego pisania czy konwertowania cytowań, ale to człowiek zapewnia kontekst, kontrolę jakości i ostateczną ocenę. Jak stwierdzono w jednej z prac, AI rewolucjonizuje proces pisania naukowego, lecz utrzymanie integralności akademickiej i balansu między użyciem AI a wkładem własnym jest niezmiernie ważne. Dobrze używany ChatGPT stanie się wartościowym partnerem – pomoże w analizie literatury, wygeneruje poprawnie sformatowane cytowania, wskaże nowe kierunki rozważań – ale zawsze pod czujnym okiem badacza, który nada końcowy szlif.

Na koniec warto zaznaczyć, że ekosystem narzędzi stale się rozwija. Nowe wtyczki, wyspecjalizowane modele (być może trenowane na korpusach naukowych), a także wytyczne etyczne będą kształtować sposób, w jaki kolejne pokolenia studentów i naukowców korzystać będą z AI. Już teraz widać postulaty, by czasopisma naukowe wypracowały zasady korzystania z narzędzi typu ChatGPT i ich raportowania. W miarę jak te praktyki się klarują, najważniejsze pozostaje: zachować krytyczne myślenie, przejrzystość i gotowość do weryfikacji. Z tym wyposażeniem, ChatGPT może stać się nie zagrożeniem, a nieocenionym wsparciem w procesie tworzenia rzetelnej wiedzy.