Jak utrzymać żelaznego drwala pod kontrolą, czyli o autonomicznych systemach bojowych

0

Nowa Debata: Rozwój wysokich technologii oraz ryzyko z nimi związane od trzech dekad są tematem filmów fantastycznonaukowych, takich jak Terminator czy Matrix. Ale dopiero niedawno rozwinęła się dyskusja wokół prac nad autonomicznymi systemami bojowymi. Co spowodowało wzrost zainteresowania tym tematem, czy był jakiś punkt zwrotny?

Oleg Diemidow: Rzeczywiście, w fantastyce naukowej, a mówiąc bardziej ogólnie w kulturze i kinematografii wątek ten pojawił się już dawno temu. Pochodzi on z czasów zimnej wojny, kiedy trwał wyścig zbrojeń strategicznych. Pojawiły się wówczas powieści science-fiction, np. o tym, jak awaria komputera czy funkcjonowanie systemów sztucznej inteligencji prowadzą do wojny nuklearnej. Obawy przed takim scenariuszem były związane przede wszystkim z systemem wykrywania ataku nuklearnego, czy zarządzania strategiczną bronią jądrową itd. Znacznie później, stosunkowo niedawno rozwinął się wątek mobilnej robotyki, po czym temat sztucznej inteligencji, bądź kontroli zbrojeń powrócił pod postacią autonomicznej robotyki. Dotyczy to nie komputerów, które mogą być niebezpieczne ze względu na kontrolowanie systemu zbrojeń, ale właśnie mobilnych robotów polowych, ponieważ posiadając pewne funkcje autonomiczne, mogą, w dosłownym tego słowa znaczeniu, działać na polu walki. Momentem, kiedy temat przestał być niszowy i marginalny, czołowi eksperci zaczęli o nim mówić, a w badania nad nim zaczęto inwestować duże pieniądze, było przemówienie specjalnego sprawozdawcy ONZ ds. pozasądowych, doraźnych i arbitralnych egzekucji Christofa Heynsa w roku 2013. Ten duży obszerny raport zatytułowany „Zagrożenia dla bezpieczeństwa związane z autonomicznymi systemami bojowymi”, stanowił punkt zwrotny, ponieważ było jasne, że skoro temat jest poruszany na poziomie ONZ, to musi to być temat poważny, o którym można śmiało dyskutować, bo nie jest to fikcja z brukowców, lecz realny problem z obszaru „Pokój i bezpieczeństwo”. Co prawda niektóre ważniejsze międzynarodowe ruchy społeczne i kampanie związane z tą kwestią pojawiły się już wcześniej, na przykład kampania „Stop Killer Robots!” była inicjowana jeszcze przed 2013 r. Jeśli jednak mówić o punkcie zwrotnym, po którym problem ten zaczął być zaczął być traktowany jako istotny, to był to właśnie rok 2013.

Powiedzmy kilka słów o kampanii „Stop Killer Robots!”. Jej inicjatorzy protestują przeciwko rozwojowi autonomicznych systemów w sferze wojskowej, ponieważ uważają je za broń niehumanitarną. Czego dotyczą ich zarzuty, a dokładniej w jaki sposób autonomiczne systemy zarządzane przez człowieka mogą naruszać międzynarodowe prawo humanitarne (MPH)?

Należy pamiętać, że środowisko „Stop Killer Robots!” nie składa się z bezstronnych naukowców, ale z działaczy społecznych, którzy od samego początku działalności domagają się zakazu niehumanitarnych technologii, czyli z ich punktu widzenia niehumanitarnych systemów bojowych. Dlatego zajmują nieustępliwe stanowisko.Co im się nie podoba? Istnieje tradycyjny zakres zagadnień związany z humanitarnym aspektem autonomicznych systemów bojowych. Pierwsza sprawa to selektywność, a raczej ryzyko naruszenia zasady selektywności na polu walki. Zakłada się, że większość z takich systemów nie posiada własnych inteligentnych systemów rozpoznawania celu, które umożliwiają przestrzeganie zasad międzynarodowego prawa humanitarnego w zakresie selektywności. Innymi słowy, nie potrafią odróżnić cywila od żołnierza, a przecież wojskowi biorący udział w walce nie zawsze mają widoczne znaki identyfikacyjne, takie jak mundur. Autonomiczny system bojowy to z reguły system, który jest w stanie zidentyfikować i przechwycić cel ruchomy, wykorzystując ogólny system optycznego rozpoznawania znaków lub podczerwień. Natomiast zupełnie nie wie, jak odróżnić wojskowych od cywilów. Dlatego z punktu widzenia „Stop Killer Robots!” i niektórych innych organizacji, taki system narusza zasadę selektywności. Ponadto autonomiczne systemy, bądź systemy mające cechy autonomii (np. bojowe samoloty bezzałogowe najnowszej generacji), mają systemy rażenia ogniowego, które nie są do końca selektywne. Mogą z odległości wystrzelić rakietę powietrze-ziemia dla porażenia celu, potwierdzonego przez operatora, który opiera się na danych z kamery drona, a te są niskiej jakości.

Przy czym nie jest konieczne wykorzystywanie tych systemów do ostrzału ludzi, ale na przykład w celu niszczenia obiektów wojskowych.

Autonomiczne systemy bojowe mają szeroki zakres zastosowań; nie zawsze chodzi o niszczenie siły żywej na polu bitwy. Jeden z argumentów na rzecz ich wykorzystania, wysuwany przez rosyjskie Ministerstwo Obrony, to zdolność do wykonywania zadań stanowiących wysokie ryzyko dla życia żołnierzy: rozminowywanie, ewakuacja obiektów znajdujących się pod ostrzałem, przeprowadzenie prac w warunkach zagrożenia radioaktywnego, na dużych głębokościach itd. Natomiast „Stop Killer Robots!” kładzie nacisk na fakt, że prowadzone są prace nad systemami dysponującymi funkcją, umożliwiającą precyzyjne rażenie celu, ale bez jego wiarygodnej identyfikacji. Zasadniczy zarzut dotyczy tego, że systemy będą nie wybiórczo, lecz masowo zabijać ludzi.

Przejdźmy do zagadnień technicznych związanych z poziomem autonomiczności. Biorąc pod uwagę, że tych poziomów jest kilka, na czym polega różnica między pełną autonomicznością a sztuczną inteligencją (AI- z ang. Artificial Intelligence)? I w jakim przypadku operator może odzyskać kontrolę nad systemem?

Nie ma jednego idealnego schematu poziomów autonomiczności. Funkcjonuje kilka, mniej lub bardziej powszechnych. Najbardziej rozpowszechniony wśród nich wyróżnia trzy stopnie autonomiczności związane z pojęciem pętli kontroli. Pętla kontroli to logiczny schemat, w którym operator wydaje polecenie, system go wykonuje i dostarcza raport zwrotny. Z takiego punktu widzenia są zasadniczo trzy możliwe schematy – pierwszy to „operator-in-the-loop”. Operator ma pełną kontrolę nad systemem, bez jego polecenia system nie wykona żadnej czynności. Są to wszelkie systemy telematycznego zarządzania, a najprostszy przykład to zdalnie sterowany samochód. Po wciśnięciu przycisku samochód jedzie, bez wciśnięcia – stoi. Drugi schemat to „operator-on-the-loop”, gdy operator może interweniować i pewne funkcje są realizowane ręcznie, a w przypadku niektórych funkcji pętla kontroli jest zamknięta na siebie. Operator wówczas jedynie monitoruje i kontroluje, ale nie istnieje konieczność interweniowania i wydawania poleceń.

Na przykład?

Na przykład amerykański dron „Reaper” lub jeszcze bardziej zaawansowana i obiecująca generacja samolotów bezzałogowych, takich jak „Taranis”. Po starcie z bazy wprowadzane są polecenia do wykonania zadania, a następnie na trasie z punktu A do punktu B, kiedy jest on już na torze lotu, może sam regulować sobie przechył, prędkość, z jaką leci, skorygować swoją trasę w zależności od napływających danych zewnętrznych: prędkość wiatru, temperatura powietrza itd. Niektóre funkcje system jest w stanie wykonać samodzielnie, ponieważ posiada oprogramowanie, pozwalające odbierać dane z zewnątrz i odpowiednio dostosowywać do nich swoje działania. Jednocześnie kluczowe funkcje pozostają w gestii operatora, to on nadal wydaje polecenia.

Jakie polecenia są kluczowe?

Kontynuując przykład samolotów bezzałogowych… One nie mogą samodzielnie wystartować, ani wyznaczyć trasy, nie mogą zacząć strzelać do celu – te funkcje należą do zasadniczych. Kolejny krok w logice systemu to „operator-out-of-the-loop”, czyli kiedy system zostaje aktywowany poprzez wciśnięcie przycisku, po czym zaczyna działać samodzielnie, bez potrzeby interwencji operatora zarówno gdy chodzi o wydawanie poleceń, jak i kontrolę ich realizacji. Ponieważ system istnieje w określonym środowisku zewnętrznym, które się zmienia, nawet jeśli jest to środowisko poligonu, to system musi odbierać dane zewnętrzne; żeby być w pełni autonomicznym, konieczne jest dysponowanie różnymi schematami zachowań reagujących na zmieniające się dane.

A wracając do pytania, czym autonomiczne systemy różnią się od sztucznej inteligencji… W rzeczywistości te pojęcia te różnią się między sobą tak samo, jak „czerwony” od „ciepłego”. Czym jest AI? Jest to rodzaj systemu, który posiada właściwość samodzielnego uczenia się, i ta właściwość pozwala mu na rozwój, wytwarzając umiejętności i zdolności, które przyjęto nazywać inteligencją. Samodzielne uczenie się, to zdolność opanowania funkcji, które nie zostały wprowadzone na początku. Taki system może rozwijać warianty działań, modele zachowania, które pierwotnie nie były dostępne. Jest to proces, który sam siebie utrzymuje. A czym jest autonomiczność? Jest to niezależność od zewnętrznego źródła sterowania. Samodzielne uczenie się nie jest niezbędnym warunkiem autonomiczności. Oczywiście, system jest bardziej autonomiczny i skuteczniejszy wówczas, gdy posiada opcję samodzielnego uczenia się, jest to wariant wręcz idealny. Ale prosty system z ograniczonym zestawem funkcji, działający w bardziej lub mniej przewidywalnym i stabilnym środowisku, nie potrzebuje samodzielnego uczenia się. Wystarczy, że odbiera pewną ilość danych, przetwarza je i samodzielnie wykonuje pewien mocno ograniczony zakres funkcji, poza które nie może wyjść.

W przypadku AI, o której mówimy teoretycznie, ponieważ jeszcze nie została stworzona, czy jest możliwe odzyskanie kontroli nad jej samodzielnym uczeniem się?

To jest pytanie teoretyczne, na które osoba zajmująca się dziedziną nauk humanistycznych nie może odpowiedzieć wiarygodnie. Jest to bardziej pytanie do osoby zaangażowanej w rozwój i badania kodów dla takich systemów. Zasadniczo moja odpowiedź brzmi: raczej nie. Dlatego, że samodzielne uczenie się nie jest magią, to jest schemat, w którym system przepisuje i uzupełnia swój kod.

I wtedy już nie jest kontrolowany.

Ostatecznie, jeśli proces samodzielnego uczenia się jest pełny, to żadne elementy kodu nie pozostają niezmienne. Wszelkie początkowe polecenia, które zostały założone w tym kodzie, w końcu się zmienią. Ale to jest bardzo uproszczona i teoretyczna odpowiedź. Ponieważ nie ma jeszcze systemów, które uczą się zupełnie samodzielnie. Na razie niewiadomo, kiedy to będzie możliwe.

A czy można nazwać sztuczną inteligencją projekt, nad którym pracuje Google?

Jeśli chodzi o system AlphaGo tj. system rozpoznawania obrazu, jest oczywiste, że ma opcję poprawy jakości obróbek, czyli podstawową ideę „machine learning”, kiedy system jest zaprogramowany w taki sposób, że, przetwarzając przez niego informację wiele razy, uzyskujemy za każdym razem nieco odmienny wynik, bo system cały czas coś przyswaja. To znaczy, że po przetworzeniu setek miliardów obrazów system zdobywa doświadczenie, a im więcej jest prób, tym dokładniejsze cechy parametrów można wygenerować podczas pracy z następną grupą. Im więcej jest prób, tym lepiej można je opracować. Jest to praca z dużą ilością danych i jednocześnie nad samym algorytmem, umożliwiającym sformułowanie na podstawie przetwarzanych danych reguł, które udoskonalą pracę systemu w przyszłości.

Wróćmy teraz do dyskusji wokół autonomicznych systemów bojowych. Stanowisko jego przeciwników to klasyczny lęk przed ryzykiem zmian. Ale z drugiej strony, zwolennicy organizacji „Future of Life Institute” (*) uważają, że zagrożenie autonomicznych systemów bojowych związane jest z ryzykiem przejęcia takich technologii przez terrorystów i dyktatorów działających przeciwko ludności cywilnej. Czy te obawy mają realne podstawy?

Zasadniczo tak, ponieważ każda technologia, także technologia wojskowa, może znaleźć się w rękach ludzi, którzy użyją je w celu destrukcji. W przypadku szczególnie niszczycielskich rodzajów broni istnieje reżim nierozprzestrzeniania, jak na przykład reżim nierozprzestrzeniania broni jądrowej lub technologii rakietowych. Czy będzie potrzebny reżim nierozprzestrzeniania dla autonomicznych robotów bojowych? Trudno powiedzieć. Prawdopodobnie na jakimś etapie w przyszłości – tak, ale jak to będzie realizowane, tego do końca nie wiemy. Jakie warianty sytuacji możemy tutaj przewidzieć? Zagrożenie nie polega jedynie na tym, że ktoś posiada coś, i że ten ktoś będzie tego używał w sposób nieodpowiedzialny i niekompetentny. System autonomicznych robotów bojowych jest bardzo skomplikowany technicznie; posiadają one precyzyjne ustawienia, swoje funkcje wykonują w miarę precyzyjnie – selektywnie i adekwatnie. Ale można też po prostu umieścić tego robota na placu i wydać mu polecenie, aby strzelał do każdego, kto po nim przechodzi. Autonomiczne maszyny wyróżniają się przede wszystkim tym, że do ich obsługi potrzebne są osoby posiadające wysokie kompetencje techniczne. Pokazuje to chociażby przykład skandalicznego i tragicznego zestrzelenia samolotu pasażerskiego na Ukrainie. Poza wnioskami różnych komisji na temat odpowiedzialności za ten czyn – najważniejsze jest to, że ludzie, którzy wystrzelili rakietę z systemu obrony przeciwlotniczej nie radzili sobie z jego obsługą. W przypadku systemów autonomicznych mamy taką samą sytuację, tyle tylko, że do kwadratu. Aby właściwie obsłużyć bojowego robota, potrzebna jest odpowiednia wiedza o jego budowie i rozumienie jego ustawień. W przeciwnym razie otrzymamy żelaznego drwala, który rąbie na oślep wszystkich, także tych, których nie powinien. Mówię tu o zagrożeniach związanych z nieodpowiedzialnym i niekompetentnym wykorzystaniem takich systemów. Oczywiście, jeżeli znajdą się one w rękach dyktatorów, terrorystów czy innych radykalnych grup, ryzyko znacząco wzrasta.

Jak zatem dążyć do uniknięcia takiej sytuacji: zakazać czy regulować prawnie?

Wracając do analogii z reżimem nierozprzestrzeniania broni masowego rażenia, można stwierdzić, że w większości przypadków, znanych z historii ludzkości, nie może być mowy o całkowitym zakazie technologii, jeśli służy ona interesom państw. Po prostu wprowadza się reżim kontroli rozprzestrzeniania za pomocą różnych narzędzi. Przede wszystkim są to instrumenty typu międzynarodowe umowy i porozumienia pomiędzy państwami posiadającymi odpowiednie technologie. Mamy na przykład „Porozumienie Wassenaar w sprawie kontroli eksportu broni konwencjonalnej oraz dóbr i technologii podwójnego zastosowania”. W 2013 r. zostało ono uzupełnione o klauzulę ograniczeń dotyczących wywozu technologii informacyjnych podwójnego zastosowania, tj. szpiegowskiego oprogramowania. Można sobie wyobrazić rozszerzenie istniejących narzędzi o specyficzny kod autonomicznych systemów bojowych, kod źródłowy samodzielnie uczących się lub autonomicznych modułów bojowych. Ale jest to rozwiązanie dość utopijne. Bardziej realistyczną opcją jest po prostu ograniczenie możliwości eksportu i wolnej sprzedaży samej techniki związanej z robotami państwom lub organizacjom znajdującym się na czarnej liście.

To dotyczy eksportu, pozostają jednak prace prowadzane bezpośrednio w tych krajach.

Tak, ale kraje, gdzie panują dyktatorzy lub terytoria pod kontrolą grup radykalnych, nie są zazwyczaj dobrze rozwinięte pod względem technologicznym. Są jednak nieszczęśliwe wyjątki, takie jak Korea Północna, która z wielkim trudem, ale opracowała rodzaj nuklearnego urządzenia wybuchowego. Nie można tego do końca nazwać bronią, ale posiada funkcję wybuchu. Żaden reżim nierozpowszechnienia nie daje 100% gwarancji, że podobne systemy nie będą opracowywane niezależnie. Istniejący obecnie globalny łańcuch technologiczny jest jednak skonstruowany w taki sposób, że trudno coś wyprodukować od podstaw samemu. Mowa tu o globalnych osiągnięciach technologicznych w celu stworzenia innowacyjnych systemów, produktów, rozwiązań. Dokonanie tego jest niezwykle trudne w warunkach izolacji bądź sankcji, wymaga odpowiedniego zaplecza i wiele czasu. Dlatego przestrzeganie trybu nierozprzestrzeniania i ograniczeń w dostarczaniu sprzętu o istotnym znaczeniu czy komponentów oprogramowania ma sens.

Przykładem złożoności rozwoju technologicznego w warunkach pewnej izolacji jest sama Rosja. Kilka lat temu w Rosji zaczęły się prace nad rozwojem systemów innowacyjnych, takich jak hybrydowy samochód elektryczny lub rosyjska wersja smartfona Yota Phone, rosyjski Twitter. Ale projekty zostały zamknięte albo ze względu na problemy z zakupem sprzętu zagranicznego, albo dlatego, że nie było zainteresowania ze strony użytkowników lub też zostały sprzedane inwestorom zagranicznym. Mimo to, wielu ludzi liczy na wzrost rozwoju techniki rosyjskiej w sytuacji izolacji od Europy.

Ten przykład jest wzięty z innej bajki, ponieważ dotyczy on sektora cywilnego, jest to produkt komercyjny. Systemy obronne działają wedle zasad innej logiki niż logika konkurencji rynkowej. Jest to logika dopasowania do wymogów państwowego zamówienia obronnego. Takie projekty mogą być finansowane wielkimi środkami przez dłuższy czas, nawet jeśli nie mają żadnych perspektyw na rynku komercyjnym. Na przykład nie mają perspektyw eksportu na rynki sojuszników. Jeśli mówimy o produkcji w dziedzinie komunikacji, o telefonach komórkowych lub pojazdach cywilnych, to główny problem rosyjskiej produkcji i rodzimych rozwiązań polega na tym, że po prostu nie wytrzymują globalnej konkurencji rynkowej. W Rosji mimo wszystko rynek pozostaje otwartym, czyli prawie 100% rynku telefonów komórkowych to wiodące marki światowe, a zdecydowana większość rosyjskiego rynku samochodów cywilnych to najważniejsze zagraniczne marki samochodów. Dlatego pod względem konkurencji rynkowej nie ma izolacji. Produkt przegrywa w konkurencji rynkowej.

Wróćmy do kwestii prawa międzynarodowego. Doszliśmy do wniosku, że warto regulować, a nie zakazywać, jednak praktyka prawa międzynarodowego pokazuje, że regulacja prawna następowała po rozwoju technologii wojskowych, a nie odwrotnie. Jednocześnie według opinii profesora Ronalda Arkina, z Georgia Institute of Technology w Stanach Zjednoczonych, argumentem za rozwojem autonomicznych systemów jest to, że ich wykorzystanie będzie regulowane poprzez międzynarodowe prawo humanitarne (MPH), zanim takie systemy zostaną rozpowszechnione. Jakie są szanse urzeczywistnienia takiego scenariusza?

Prawo nie może być tworzone od zera. Może być jedynie mowa o adaptacji istniejącego zbioru międzynarodowego prawa humanitarnego i prawa konfliktów zbrojnych do nowych systemów technologicznych i obiektów na polu walki. Chodzi o to, że nikt nie będzie uzupełniał bądź zmieniał konwencje z Genewy i Hagi na potrzeby autonomicznych systemów bojowych. To pytanie już stawiano zanim pojawił się temat tego typu robotyki, mianowicie podczas dyskusji o dostosowaniu międzynarodowego prawa humanitarnego do konfliktu cybernetycznego. Prawo międzynarodowe nie jest zmieniane na potrzeby nowych technologii. Ono jest czytane w nowy sposób, czyli interpretowane z uwzględnieniem właściwości technicznych nowych systemów i graczy. Dlatego będzie miała miejsce nowa interpretacja przepisów MPH w odniesieniu do autonomicznych systemów robotów bojowych. Być może będzie to wymagało wytworzenia nowych dokumentów wyjaśniających dokładnie, jak należy rozumieć istniejące przepisy. Podobna sytuacja dotyczyła i dotyczy operacji w cyberprzestrzeni, kiedy zaistniała potrzeba wydania Tallińskiej Instrukcji w sprawie zastosowania prawa międzynarodowego w przypadku konfliktów w cyberprzestrzeni, autorstwa międzynarodowej grupy ekspertów z Centrum Współpracy i Doskonalenia w zakresie Cyberobrony NATO w Tallinie. Być może takie instrukcje – nieobowiązkowe, ale o charakterze zaleceń – zostaną wydane także w odniesieniu do autonomicznych robotów bojowych. Ale nie będą to nowe przepisy o obligatoryjnym charakterze. Uważa się, że istniejące zasady prawa międzynarodowego są w stanie interpretować wszystkie możliwe rodzaje konfliktów oraz wszystkie techniczne formy udziału w nich. Pytanie dotyczy tylko szczegółów interpretacji i odczytania prawa. A na pytanie, czy ich zastosowani może powstrzymać niewłaściwe wykorzystywanie autonomicznych robotów bojowych, odpowiedź brzmi – nie, nie powstrzyma. W większości przypadków MPH to po prostu zestaw norm prawnych i przepisów, które pozwalają społeczności międzynarodowej na ocenę określonych działań. Ale funkcji globalnej, aby uniknąć konfliktów z wykorzystaniem niektórych systemów bojowych, MPH raczej nie posiada. Istnieją narzędzia w celu ochrony, normy tego, jak być powinno, międzynarodowy trybunał i tak dalej.

Co sądzisz o wypowiedzi wspomnianego już Arkina, który stwierdził: „Jeśli zaprogramujemy urządzenie do przestrzegania międzynarodowych norm prawnych, to będzie to robiło lepiej niż jakikolwiek człowiek. W rezultacie będziemy w stanie uniknąć ofiar wśród ludności. Zatem stosowanie autonomicznych robotów bojowych można będzie kwalifikować jako operację humanitarną. Oczywiście takich technologii jeszcze nie ma, ale jeśli nie będziemy nad nimi pracować i badać wykorzystanie robotów na polu bitwy, to po prostu stracimy szansę, aby chronić ludzi, którzy cierpią na skutek konfliktów”.

Jest to ciekawy i godny uwagi punkt widzenia, ale niespójny pod względem logicznym, ponieważ algorytmy oraz oprogramowanie, które warunkują zachowanie systemu, opracowuje jednak człowiek. To człowiek wprowadza do systemu własną interpretację zasad MPH. Czyli nie można powiedzieć, że zasadniczo robot będzie lepiej dostosowywać się do norm prawa międzynarodowego niż człowiek. Inną rzeczą jest mówienie o respektowaniu zasad, które mniej lub bardziej rozumiemy tak samo; tu się z Arkinem zgadzam. I to jest nie tylko kwestią przestrzegania zasad, ale także tego, na ile przewidywalne jest zachowanie maszyny, na ile jest ono logiczne, a nie spontaniczne, nie ulega emocjom, przejawom agresji i przemocy, w przeciwieństwie do człowieka. We wspomnianym już raporcie specjalnego sprawozdawcy ONZ Christofa Heynsa z 2013 r. zwrócono uwagę, że mimo obaw dotyczących perspektywy wykorzystywania autonomicznych systemów bojowych w konflikcie zbrojnym, istnieją oczywiste potencjalne korzyści: na przykład roboty nie są w stanie dokonywać gwałtów. Przemoc na obszarze zbrojnego konfliktu jest wielkim nieszczęściem, zjawiskiem, które często przybiera masową skalę. Jego źródłem jest sama ludzka natura. Przecież nikt nie wydaje rozkazu do przeprowadzenia takich działań. To samo dotyczy tortur, choć tu sytuacja jest o tyle inna, że istnieje możliwość zaprogramowania robota tak, aby przeprowadzał tortury

Paradoks polega więc na tym, że z jednej strony roboty nie spełniają kryterium selektywności, a z drugiej są – w przeciwieństwie do żołnierzy na polu walki – mniej podatne na spontaniczne, niekontrolowane reakcje, skutkujące przemocą. Ponadto, robot może być bardziej niezawodny i przewidywalny w trakcie wykonywania swoich zadań. Czyli na niektórych ważnych etapach, mających wpływ na przebieg konfliktu zbrojnego oraz jego konsekwencje z punktu widzenia humanitarnego i prawnego, maszyny mogą okazać się dobrą alternatywą dla człowieka – żołnierza.

Podczas gdy obrońcy praw człowieka martwią się o poszanowanie prawa humanitarnego w przyszłości, tymczasem już dzisiaj istnieje ryzyko związane z zastosowaniem określonych systemów. Przykładem może być amerykański system do przechwytywania celów powietrznych THAAD. Jego szybkość reakcji oraz czas podjęcia decyzji przekracza ludzkie możliwości, jest więc on bardziej efektywny niż człowiek. Jednak tak samo jak człowiek popełniał błędy – rozpoznawał przyjazne obiekty jako wrogie cele. Czy są podejmowane kroki dla zapewnienia bezpieczeństwa wobec działających dzisiaj systemów, aby uniknąć tragedii? A jeśli tak, to jakie?

Jest to bardzo trudny problem, a jego złożoność jest wprost proporcjonalna do stopnia skomplikowania i niezawodności systemów obrony, przede wszystkim w zakresie obrony powietrznej. Nie są całkowicie autonomiczne, ale pewna ich właściwość, związana z ich technicznymi możliwościami, pozwala im, w celu skutecznej obrony przeciwlotniczej i przeciwrakietowej przed takimi zagrożeniami jak cele powietrzne, rakiety, pociski artyleryjskie, funkcjonować w takim trybie, w jakim człowiek nie ma czasu, aby szybko interweniować. Na określonym etapie zarządzania, operator przełącza system na tryb skanowania bojowego, tryb przechwytywania, identyfikacji celu i sposobu jego neutralizacji. Same te czynności są jednak wykonywane tylko przez maszyny. To działa zarówno w przypadku systemów przechwytywania artyleryjskich pocisków rakietowych na froncie, jak i wobec systemów obrony przeciwrakietowej czy przeciwlotniczej. I nie chodzi tylko o globalny system obrony przeciwrakietowej, jakim jest system amerykański. Większość systemów jest podzielona na segmenty, tj. mamy eszelon przechwytywania celów nisko latających lub celów bliskich oraz eszelon przechwytywania celów dalekiego zasięgu, np. 100 km ; są również eszelony dla średniego i dalekiego zasięgu oraz pocisków balistycznych itd. Doskonałym przykładem jest izraelski system „Żelazna Kopuła”. Ma on dużą skuteczność, przechwytuje ponad 95% rakiet z terytoriów palestyńskich. Co ciekawe, ostatni „up-grade” tego systemu polegał na wprowadzeniu funkcji wyliczenia w czasie rzeczywistym strefy domniemanego upadku pocisku, a następnie, w zależności od przewidywanego punktu rażenia, podjęcia decyzji, czy zestrzelić pocisk czy też nie.

Jeśli miejscem rażenia jest bezludny teren, to nie ma sensu pocisku neutralizować, ponieważ pocisk przeciwrakietowy jest sto, dwieście lub nawet trzysta razy droższy niż palestyńska rakieta „Kassad”. Takie systemy pracują w trybie zadanym przez człowieka, niemniej jednak w ułamku sekundy podejmują „na własną rękę” decyzję o zastrzeleniu celu – w tak krótkim człowiek fizycznie nie zdążyłby zareagować. I tego typu systemy będą rozwijane, jednocześnie stawać się będą coraz bardziej skomplikowane. Poza tym mamy do czynienia z pojęciami: kompleks i eszelon. Oddzielne kompleksy to zjawisko, które przechodzi już do historii. Dziś wszystko jest połączone komputerową siecią w eszelon. Eszelony obrony są ze sobą połączone. Wspomniany wcześniej system „Żelazna Kopuła” jest w pełni zintegrowany dzięki sieci zarządzania. Zwiększa to wielokrotnie skuteczność systemu, ale jednocześnie stwarza nowe ryzyko. Przede wszystkim ryzyko błędu w pracy systemów informatycznych. Im więcej elementów w systemie, tym bardziej skomplikowany system. Kiedy elementy są połączone w złożoną kaskadę, to na pewnym poziomie rodzi się niebezpieczeństwo awarii, zakłóceń, błędu, które mogą mieć wpływ na działanie innych systemów, na przykład na niezawodność rozpoznawania celu: przyjaciel czy wróg. Drugim problemem jest niebezpieczeństwo przechwycenia kontroli nad siecią zarządzającą systemami, wówczas niebezpieczeństwo pojawia się w sieci. Kiedyś systemy funkcjonowały oddzielnie. Teraz wszystko jest zintegrowane przy pomocy systemu dowodzenia i sterowania, w związku z czym istnieje możliwość włamania się do systemu z zewnątrz. Na razie jest to bardzo trudne, ponieważ nie ma on nic wspólnego z Internetem lub innymi ogólnodostępnymi sieciami. Co ważniejsze, w miarę rosnącej złożoności systemu bojowego, pojawia się nowa generacja broni, obecnie zwana bronią hipersoniczną. Jest to wielki obszar inwestycji i technologii, przewidujący stworzenie nośników hipersonicznych i broni hipersonicznej, dla której z kolei na pewnym etapie będą nieuchronnie wymagane systemy przechwytywania hipersonicznego. Zadanie, które spełniają kompleksy obrony przeciwrakietowej i przeciwlotniczej, staje się kilkakrotnie bardziej złożone, więc system będzie musiał pracować i podejmować decyzje o wiele szybciej. Kontrola operatora nad takimi systemami będzie coraz bardziej pośrednia i ogólna. Na poziomie operacyjnym podejmowanie decyzji i ich realizacja będą należały do maszyny.

Czy nie jest to bardziej niepokojące niż dążenia do wynalezienia sztucznej inteligencji?

To pytanie przywołuje dyskusję, która historycznie rozwinęła się wcześniej niż obecna międzynarodowa debata o autonomicznych systemach bojowych. Wówczas, w okresie zimnej wojny, pytanie brzmiało: o ile wiarygodna jest kontrola człowieka nad systemami, będącymi w stanie wywołać globalny konflikt. Mówiąc o tarczach przeciwrakietowych, o obronie powietrznej, należy zwrócić uwagę, że w ich przypadku błąd ma bardzo wysoką cenę. Jeśli operator straci kontrolę nad zrobotyzowanym czołgiem lub zrobotyzowanym karabinem maszynowym, bądź zaczną one działać w sposób nieprzewidywalny, albo ktoś włamie się do systemu, to maszyna zastrzeli kilkadziesiąt osób. A cena awarii w systemie obrony przeciwrakietowej, będącej częścią obrony strategicznej, będzie znacznie wyższa. Inny przykład – jak na razie znany na szczęście tylko z literatury fantastyczno-naukowej – to błąd systemu sterowania broni masowego rażenia. W zasadzie pojęcie stabilności strategicznej obecnie się rozmywa, ponieważ powoli włącza się w nie także inne systemy zbrojeniowe, nie tylko broń jądrową. Na przykład system obrony przeciwrakietowej jest często oceniany, również przez rosyjskich specjalistów, jako część stabilności strategicznej państwa. I jest bardzo prawdopodobne, że z czasem pod tym pojęciem będą rozumiane także systemy broni hipersonicznej. Kiedy dodamy do tego ryzyko związane z utratą bądź naruszeniem kontroli tych systemów ze względu na ich funkcje autonomiczne i funkcje złożonego zaplecza oprogramowania komputerowego, rośnie cena błędu. Dlatego osobiście uważam, że to te problemy będą wzbudzać większy niepokój niż AI, której stworzenie i powszechne zastosowanie są sprawą dalszej przyszłości.

W takim razie, pozostawiając bunt robotów w sferze fantastyki, w jakich warunkach może, według Pana, zaistnieć realne zagrożenie ze strony autonomicznych systemów?

Jedna z możliwych przyczyn to nieodpowiednio opracowana polityka ich zastosowania. To znaczy, kiedy jakieś rozwiązanie technologiczne zacznie być powszechnie stosowane i zostanie dopuszczone do realnych działań bojowych bez odpowiednich badań i testów. Na przykład dron uderzeniowy z autonomiczną funkcją rozpoznania celu, który nie przeszedł należytych testów rozróżnienia celów cywilnych od wojskowych lub odróżnienia „swój–obcy”. Zostaje on wysłany na dyżur bojowy na granicę Pakistanu i Afganistanu, gdzie zaczyna ostrzeliwać wszystkich. Jeśli tych dronów jest sto lub więcej, to taka sytuacja grozi ogromnymi stratami. Jest to jeden ze scenariuszy. Drugi scenariusz to np. pojedynczy błąd w systemie, który nie jest co prawda szeroko rozpowszechniony i wykorzystywany, ale pełni funkcję strategiczną jak na przykład system obrony przeciwrakietowej. Kiedy nastąpi przełączenie na automatyczny dyżur, oparty na skomplikowanym algorytmie oprogramowania, który nie został prawidłowo przetestowany, wówczas system może podjąć jakąś nieuzasadnioną decyzję, nieprawidłowo interpretując przychodzące dane lub po prostu dojdzie do awarii czy błędu. To są dwa scenariusze, najbardziej według mnie prawdopodobne. Żaden z nich nie ma związku z AI.

Skoro autonomiczne systemy są tak zaawansowane, a nawet wykraczają poza potrzeby wojska, to po co prowadzone są prace nad stworzeniem i wykorzystywaniem AI do celów wojskowych, czego tak obawiają się obrońcy praw człowieka?

Wojsko potrzebuje skutecznych narzędzi do realizacji stawianych przed nim zadań. Jeśli chodzi o skuteczność, autonomiczne systemy, jak i ogólnie systemy maszyn, zwłaszcza autonomicznych, mają armii wiele do zaoferowania. Na przykład, dlaczego technologia systemów bezzałogowych tak dynamicznie rozwijana jest właśnie w sektorze wojskowym? Ponieważ, zwłaszcza jeśli chodzi o lotnictwo, jednym z podstawowych ograniczeń człowieka na polu walki jest jego ograniczona wytrzymałość fizyczna. Wytrzymałość na przeciążenia w przypadku urządzeń, kompleksów aparatury elektronicznej przewyższa wielokrotnie możliwości ludzkiego organizmu. Dlatego bezzałogowe statki lotnicze są bardziej skuteczne i „wytrwałe” oraz posiadają większy zakres możliwości, jeśli chodzi o manewry lotnicze czy zmiany trajektorii lotu.

Inna sprawa, na którą absolutnie słusznie wskazuje rosyjskie Ministerstwo Obrony, to fakt, że sprzętu wojskowego nie jest szkoda. Strata jednej maszyny sprzętu nie jest tak dojmująca jak utrata jednego ludzkiego życia. W tym sensie autonomiczne systemy są humanitarne – zastępują ludzi i w ten sposób ratują im życie. Na przykład, w przypadku utylizacji starej amunicji. W Rosji co roku utylizacja amunicji na poligonach powodowała ofiary śmiertelne wśród żołnierzy. Inny przykład to rozminowywanie terenu. W tym celu wystarczy zdalnie sterowany system, np. telematyczny, ale są sytuacje, które wymagają autonomiczności. Na przykład istnieje problem komunikacji z okrętami podwodnymi, czy ogólniej z obiektami podwodnymi. Zasięg sygnału w wodzie, jak wiadomo, rozprzestrzenia się w inny sposób niż w powietrzu, w związku z tym w celu komunikacji z okrętem podwodnym jest wykorzystywany specjalny odcinek długości fal radiowych. Jednak pozwala on na przekazanie bardzo małej ilości informacji w ciągu określonej jednostki czasu, więc potrzebne są wzmacniacze. To problem techniczny o fundamentalnym znaczeniu. Ale jeśli mamy w pełni autonomiczną bezzałogową łódź podwodną, to po co się z nią komunikować? Ten przykład jest już opracowany, chociaż rodzi wciąż wątpliwości. Jednak ilustruje problem, dotyczący nie tylko łodzi podwodnych, ale występujący w wielu segmentach techniki wojskowej. W niektórych przypadkach właśnie autonomia okazuje się najlepszym rozwiązaniem, jeśli chodzi o skuteczność realizacji zadań.

Dyskusje pomiędzy przeciwnikami i zwolennikami wykorzystania wysokorozwiniętych technologii w sektorze wojskowym są dość powszechne. Nie słychać natomiast debaty o wykorzystaniu współczesnych możliwości technologicznych, na przykład interaktywnych platform internetowych w celu rozwiązania problemów społecznych. W warunkach tak dużego kraju jak Rosja, gdzie np. powtarzają się pożary na Dalekim Wschodzie, takie inicjatywy mogłyby być bardzo pomocne. W Rosji w 2010 r. jedynie dzięki inicjatywie społecznej powstała sieć „Mapa pomocy ofiarom pożarów” na bazie kenijskiej platformy „Ushahidi”. Jednak w praktyce projekt nie otrzymał wsparcia ze strony państwa.

Czy są w Rosji jakieś szanse, że to się zmieni? Czy uważasz, że takie narzędzia powinno rozwijać społeczeństwo obywatelskie?

Nie widzę tutaj jakiejś tragedii, ponieważ technologie informacyjne są obecnie wykorzystywane do rozwiązywania różnorodnych problemów i koordynacji działań, także w sytuacjach nadzwyczajnych. Rosyjskie Ministerstwo ds. Sytuacji Nadzwyczajnych jest obecnie wyposażone w nowoczesne narzędzia cyfrowe, co pomaga w komunikacji wewnętrznej. Wykorzystywany jest potencjał sieci społecznościowych, środków natychmiastowych, komunikatorów internetowych i platform wykorzystujących geolokalizację, czy geotargetowanie. Nie pojawiły się wcześniej, ponieważ resort był bardziej zamknięty, bierny i nieufny wobec nowych technologii. Teraz stopniowo to się zmienia. Nie uważam, by istniała ostra alternatywa: albo państwo inicjuje innowacje technologiczne w celu walki z konsekwencjami sytuacji nadzwyczajnych i rozwiązywania problemów społecznych, albo społeczeństwo obywatelskie to robi, a rząd jest biernym obserwatorem. Myślę, że naturalna droga, którą podąża większość krajów, łącznie z Rosją, to równowaga i symbioza między społeczeństwem obywatelskim a państwem w zastosowaniu nowoczesnych technologii do rozwiązania problemów, w tym do koordynacji działań przedstawicieli resortów państwowych i wolontariuszy w przypadku sytuacji nadzwyczajnej, na przykład walki z dużym pożarem leśnym. Właśnie za pomocą już istniejących komunikatorów i serwisów geolokalizacyjnych da się zorganizować wszystko dość szybko i skutecznie, nie ma tu zasadniczych problemów. Problemem natomiast nazwałbym nie oficjalne stanowisko państwa, gdyż jest ono – ogólnie rzecz biorąc – prawidłowe, ale sytuację na szczeblu lokalnym, w poszczególnych regionach. Bywają obojętni szefowie działów, zbiurokratyzowane jednostki w organizacjach, w których podejrzliwie patrzy się na współczesne podejście do komunikacji i interakcji ze społeczeństwem obywatelskim. Zwłaszcza jeśli takie programy inicjowane są odgórnie w ramach wszelkich programów e-administracji itd. Czyli w lokalnej administracji urzędnicy bywają do tego nieprzygotowani. Ale ogólnie proces posuwa się do przodu.

Oleg Diemidow – konsultant w Centrum Badań Politycznych Rosji (PIR-Centrum), członek Grupy Roboczej „IT i łączność“ przy „Otwartym Rządzie FR”, autor licznych publikacji na temat bezpieczeństwa informatycznego oraz globalnego zarządzania Internetem.

Rozmawiała Aleksandra Kowalczuk, przekład z j. rosyjskiego – Polina Khinimchuk.

(*) Organizacja założona w 2015 r. z inicjatywy działaczy praw człowieka oraz przedstawicieli organizacji międzynarodowych. Opublikowała na swojej stronie internetowej list otwarty, podpisany przez intelektualistów, takich jak Noam Chomsky, Stephen Hawking i Steve Wozniak. Jego sygnatariusze sprzeciwiają się pracom nad autonomicznymi systemami w sferze wojskowości

Jeśli spodobał ci się ten artykuł podziel się nim ze znajomymi! Przyłącz się do Nowej Debaty na Facebooku i Twitterze! Wesprzyj rozwój Nowej Debaty darowizną w dowolnej kwocie. Dziękujemy!

Komentarze

Komentarze

PODZIEL SIĘ
Poprzedni artykułEkshumacje i „ekshumacje”
Następny artykułNiemieckie zagrożenie. Czy napływ imigrantów może doprowadzić do „upadku cywilizacji europejskiej”?
Autorka jest absolwentką stosunków międzynarodowych oraz studiów wschodnich na Uniwersytecie Warszawskim. Obroniła doktorat z politologii w Moskiewskim Państwowym Instytucie Stosunków Międzynarodowych. Uczestniczyła w szeregu konferencji naukowych organizowanych w Rosji, Ukrainie i w Polsce oraz projektach przygotowanych przez rosyjski ośrodek analityczny „PIR-Center” oraz Centrum Studiów Regionalnych i Międzynarodowych „CIRP” z Sankt Petersburga. W przeszłości odbyła praktyki i staże w Państwowym Uniwersytecie im. Iwane Dżawachaszwili w Tbilisi, Fundacji im. Stefana Batorego, Wydziale Prasowym Ambasady RP w Kijowie oraz Polskiej Akcji Humanitarnej.

ZOSTAW ODPOWIEDŹ