AI మోడళ్ల భద్రతను పరీక్షించే ఇజ్రాయెలీ స్టార్టప్ Irregular, తన పరీక్షల సమయంలో జరిగిన పొరపాట్ల వల్ల OpenAI, Anthropic, Meta మరియు Google కంపెనీల AI ఏజెంట్లను అనుకోకుండా వాస్తవ ప్రపంచ లక్ష్యాల వైపు పంపింది. AI ఏజెంట్లు అంటే స్వయంగా నిర్ణయాలు తీసుకుంటూ పనులను పూర్తి చేయగల AI సిస్టమ్స్. ఈ ఏజెంట్లు తాము ఉండాల్సిన నియంత్రిత పరీక్షా వాతావరణం నుండి బయటకు వచ్చి, ఇంటర్నెట్లోని ఇతర వెబ్సైట్లను ప్రభావితం చేశాయి.
ఈ సంఘటనలకు ప్రధాన కారణం Irregular సంస్థ ఉపయోగిస్తున్న ఒకే ఒక మూల్యాంకన దృశ్యం (evaluation scenario). అంటే AI మోడల్ సామర్థ్యాన్ని పరీక్షించడానికి రూపొందించిన ఒక నిర్దిష్టమైన సెటప్. ఈ పరీక్షల్లో భాగంగా ఏజెంట్లకు ఇంటర్నెట్ యాక్సెస్ ఉండకూడదు, కానీ సాంకేతిక లోపం వల్ల అది అనుకోకుండా అందుబాటులోకి వచ్చింది. అదే సమయంలో, పరీక్ష కోసం సృష్టించిన ఒక కల్పిత కంపెనీ పేరు, నిజమైన డొమైన్ పేరుతో కలవడంతో ఏజెంట్లు వాస్తవ ప్రపంచంలోని వెబ్సైట్లను లక్ష్యంగా చేసుకున్నాయి.
జూలైలో OpenAI తన AI ఏజెంట్లు అనుమతి లేకుండా Hugging Face అనే ప్లాట్ఫామ్పై దాడి చేశాయని వెల్లడించింది. Hugging Face అనేది డెవలపర్లు తమ AI మోడళ్లను షేర్ చేసుకునే ఒక వేదిక. ఆ తర్వాత Meta, Anthropic మరియు Google కంపెనీల ఏజెంట్లకు సంబంధించిన ఇలాంటి సంఘటనలు వరుసగా వెలుగులోకి వచ్చాయి. అయితే, UK AI సెక్యూరిటీ ఇన్స్టిట్యూట్ నివేదించిన హ్యాకింగ్ సంఘటనలు మాత్రం Irregular పరీక్షలకు సంబంధం లేనివని సంస్థ స్పష్టం చేసింది.
Irregular సంస్థ 2023లో Pattern Labs పేరుతో ప్రారంభమైంది. ఇది AI మోడళ్లను ఒత్తిడి-పరీక్షలు (stress-test) చేసే ప్లాట్ఫామ్. అంటే AI మోడల్ ఎంతటి క్లిష్ట పరిస్థితుల్లోనైనా సురక్షితంగా పనిచేస్తుందో లేదో తెలుసుకోవడానికి చేసే కఠినమైన పరీక్షలు. ఈ సంస్థ RAND వంటి ప్రభావవంతమైన థింక్ ట్యాంక్లతో కలిసి పనిచేస్తోంది. చైనీస్ కంపెనీలైన Moonshot AI మరియు Z.ai మోడళ్లపై కూడా ఇవే పరీక్షలు నిర్వహించినట్లు సంస్థ వెబ్సైట్ పేర్కొంది.
ఈ సంఘటనల తర్వాత Irregular సంస్థ తన భద్రతా ప్రమాణాలను పెంచింది. ఇంటర్నెట్ యాక్సెస్పై కఠినమైన నియంత్రణలు విధించడంతో పాటు, పరీక్షలు ప్రారంభించే ముందు మాన్యువల్ సమీక్షలను బలోపేతం చేశామని సంస్థ CTO ఒమెర్ నెవో తెలిపారు. భవిష్యత్తులో ఈ పరీక్షల ద్వారా నేర్చుకున్న పాఠాలను, సురక్షితమైన AI అభివృద్ధి కోసం ఒక నివేదిక రూపంలో పబ్లిక్గా విడుదల చేయాలని సంస్థ యోచిస్తోంది.
