Қазіргі замандағы физиканың ролі. Физика, 10 сынып, дидактикалық материал.


ЖАСАНДЫ ИНТЕЛЛЕКТТІҢ АРТЫҚШЫЛЫҚТАРЫ МЕН ТӘУЕКЕЛДЕРІ

« Өркениетке деген сүйіспеншілігіміз - интеллекттің өнімі, сондықтан біздің жасыл интеллектпен адам ақылын күшейте отырып, өркениеттің өркендеуіне бұрын-соңды болмағандай көмектесе алады - технологияны тиімді ұстай алатынымызға дейін. «

Max Tegmark , «Болашақтың өмір институты» президенті

Бұл бетті басқа тілдерде көру үшін мына жерді басыңыз: қытай    Француз тілі  Неміс тілі жапон    Корей тілі   Орысша 

AI ДЕГЕНІМІЗ НЕ?

SIRI-дан өздігінен жүретін автокөліктерге дейін жасанды интеллект (AI) жылдам дамып келеді. Ғылыми фантастика АИ-ны адамға ұқсас сипаттамалары бар роботтар ретінде жиі көрсетсе де, AI Google іздеу алгоритмдерінен IBM Watson-ге дербес қару-жараққа дейін кез келген нәрсені қамти алады.

Жасанды интеллект бүгінгі күні шағын тапсырма (мысалы, бет-бейнені тану немесе тек интернет-іздестіру немесе автомобильді басқару ғана ) үшін тар AI (немесе әлсіз AI) деп аталады . Алайда, көптеген зерттеушілердің ұзақ мерзімді мақсаты жалпы AI (AI) немесе күшті AI жасау болып табылады  . Дегенмен, тар AI адамдарға өзінің нақты тапсырмасына қарамастан, шахмат ойнау немесе теңдеулерді шешу сияқты АГИ адамнан әр түрлі когнитивтік тапсырмадан асып түседі.

НЕГЕ АИ ҚАУІПСІЗДІГІН ЗЕРТТЕУ КЕРЕК?

Жақын арада АИ-ның қоғамға тигізетін әсерін сақтаудың мақсаты экономика мен құқықтан бастап, тексеру, растау, қауіпсіздік және бақылау сияқты техникалық тақырыптарға дейін көптеген салаларда зерттеулерді ынталандырады. Егер сіздің ноутбугаңыз құлап немесе бұзылып қалса, аздап көп нәрсе болмауы мүмкін, ал AI жүйесі сіздің көлігіңізді, ұшақпен, пищакеңізді, автоматтандырылған сауда-саттықты бақылайтын болса, не істейтінін қалайды. жүйе немесе қуат көзі. Тағы бір қысқа мерзімді міндет өлтірген автономды қару-жарақпен қаруланудың нашарлауына жол бермейді .

Ұзақ мерзімді перспективада маңызды мәселе - егер күшті А.И. табысқа жету мүмкін болса, ал AI жүйесі барлық когнитивтік тапсырмаларда адамдардан жақсы болады. IJ Жақсы 1965 жылы атап өткендей , ақылды AI жүйелерін жобалау өзі танымдық міндет. Мұндай жүйе адамның интеллектін артта қалдырып , зиянды жарылысты тудыратын рекурсивті өзін-өзі жетілдіруге қабілетті болуы мүмкін . Революциялық жаңа технологияларды ойлап табу арқылы мұндай суперперсональность соғысқа, ауруға және кедейлікті жоюға көмектесуі мүмкін  , сондықтан күшті AI құру адамзат тарихындағы ең үлкен оқиға болуы мүмкін. Кейбір сарапшылар алаңдаушылығын білдірді, бірақ, егер біз АИ-нің мақсаттарын өзімізбен бірге теңгерместен бұрын теңестіруді үйренбесек, ол да соңғы болуы мүмкін деген алаңдаушылық тудырады.

Күшті АИ-ға қол жеткізілетініне күмән келтіретіндер бар, ал кейбіреулері, АИ-ны құру аса тиімді екеніне кепілдік береді. FLI-де біз осы екі мүмкіндіктерді тани аламыз, сонымен қатар жасанды интеллект жүйесінен әдейі немесе күтпеген жерден үлкен зиян келтіру мүмкіндігін де таниды. Біздің зерттеуіміз, бүгінгі күні болашақта мұндай ықтимал теріс салдарларға жақсы дайындалуға және алдын алуға көмектеседі деп сенеміз.

АИ ҚАУІПТІ БОЛУЫ МҮМКІН?

Зерттеушілердің көбісі махаббат пен өшпенділік секілді адам эмоцияларын көрсете алмайтындығын, ал АИ-ні қасақана мейірімсіз немесе зиянды деп есептеуге ешқандай себеп жоқ деп келіседі. Оның орнына, АИ қауіпті болуы мүмкін екенін қарастыру кезінде сарапшылар екі сценарийді ең алдымен ойлайды:

  • АИ қираған нәрсе жасау үшін бағдарламаланған:  Автономды қару - бұл өлтіруге бағдарламаланған жасанды интеллект жүйелер. Қате адамның қолында бұл қару-жарақ жаппай қырып-жояды. Сонымен қатар, AI қару-жарақ жарыстары біржола АИ соғысына әкелуі мүмкін, бұл жаппай құрбандарға әкеледі. Дұшпандарға кедергі жасамау үшін, бұл қаруды «өшіру» өте қиын деп есептеуге болады, сондықтан адамдар осындай жағдайды бақылауды жоғалтады. Бұл тәуекел тар AI-де болса да, бірақ АИ-ның барлау және автономия деңгейінің жоғарылауы болып табылады.
  • AI пайдалы нәрсе жасауға арналған бағдарлама болып табылады, бірақ ол мақсатына жету үшін бұзушы әдісті дамытады:  бұл АИ мақсаттарын толықтай теңестірмеген кезде, ол өте күрделі болып табылады. Егер Сіз әуежайға мүмкіндігінше тезірек әуежайға баруды сұрайтын болсаңыз, онда сіз тікұшақтармен қуып, құсқылданып, сіз қалаған нәрсені жасамай, бірақ сіз сұраған нәрсені жасай аласыз. Егер супертехникалық жүйе өршіл геоинженерия жобасына жауап берсе, ол біздің экожүйемізді жанама әсер етуі мүмкін және оны адамның қауіп-қатер ретінде тоқтату әрекетін тоқтатуы мүмкін.

Бұл мысалдар көрсеткендей, озық AI-ге қатысты алаңдаушылық - зияндылық емес, құзыреттілік. Зиялы интеллектуалды AI өз мақсаттарын жүзеге асыру кезінде өте жақсы болады және егер бұл мақсаттар бізбен сәйкес болмаса, онда бізде проблема бар. Сіз жамандықтан құмырсқаларға қарсы шыққан, бірақ сіз гидроэнергетикалық жасыл энергия жобасын басқаратын болсаңыз және аймақта су жиналса, құмырсқалар үшін тым нашар болатын антилар болып көрінген шығарсыз. AI қауіпсіздігін зерттеудің басты мақсаты - бұл кумурскалар жағдайында адамзатты ешқашан орналастыру.

НЕЛІКТЕН СОҢҒЫ УАҚЫТТА AI ҚАУІПСІЗДІГІНЕ ҚЫЗЫҒУШЫЛЫҚ ТУДЫРАДЫ?

Стивен Хокинг, Элион Муск, Стив Возняк, Билл Гейтс және басқа да көптеген ғылым мен техниканың ірі атаулары жақында БАҚ-та және көптеген АИ зерттеушілерінің қосқан АИ- нің қауіп-қатерлер туралы ашық хаттарымен түсіндірді . Неге тақырып тақырыптарда кенеттен басталады?

Күшті АИ іздестірудің нәтижесінде ақыр соңында табысқа жету идеясы ғылым ғалымдары, ғасырлар бойы немесе одан да көп деп ойлады. Дегенмен, соңғы жетістіктердің арқасында, сарапшылар бес жыл бұрын онжылдықтар бойы ғана қараған АИ кезеңдері қазірдің өзінде қол жеткізілді, көптеген сарапшылар біздің өмірімізде супертеплизия мүмкіндігіне байсалдылық танытады. Кейбір сарапшылар адам деңгейіндегі AI ғасырлар бойы ғаламат деп санайды , ал 2015 жылы Пуэрто-Рико конференциясында көптеген зерттеу жұмыстары 2060 жылға дейін болатындығын болжады. Қажетті қауіпсіздік зерттеулерін аяқтау үшін онжылдық қажет болуы мүмкін болғандықтан, оны қазір бастау керек .

Өйткені АИ кез келген адамнан гөрі зияткерлік болуға әлеуеті бар, бізде ол қалай әрекет ететінін алдын-ала болжаудың сенімді жолы жоқ. Біз бұрынғы технологиялық әзірлемелерді негізі ретінде пайдалана алмаймыз, өйткені біз ешқашан еш нәрсе жасай алмадық, біз ақылға қонымды немесе түсініксіз, бізді аулақ ұстады. Біздің алдымыздағы ең жақсы мысал өзіміздің эволюциямыз болуы мүмкін. Адамдар қазір планетаны басқарады, біз күшті, ең жылдам немесе ең үлкен болғандықтан емеспіз, бірақ біз ең ақылдымыз. Егер біз енді ең ақылды болмасақ, онда біз бақылауда қалуымызға сенімдіміз бе?

FLI ұстанымы - біздің өркениетіміз технологияның өсіп келе жатқан қуаты мен біз басқаратын даналықтың арасындағы жарыста жеңіске жеткенше гүлдене бастайды. АИ технологиясы жағдайында, FLI позициясы - бұл жарысты жеңудің ең жақсы жолы - бұл АИ қауіпсіздігі бойынша зерттеулерді қолдай отырып, бұл жарысқа қатысуға кедергі жасамау.

КЕҢЕЙТІЛГЕН AI ТУРАЛЫ МИФТЕР

Жасанды интеллекттің келешегіне және ол адамзат үшін қандай болатынын білдіруге қатысты қызықты әңгіме жүріп жатыр. Әлемнің жетекші сарапшылары келіспеушіліктер тудырады, мысалы: AI-тің болашақ жұмыс нарығына ықпалы; егер адам деңгейіндегі AI әзірленетін болса; бұл зияткерлік жарылысқа әкеледі ме; және бұл біз қабылдауға немесе қорқуға тиіс нәрсе ме? Бірақ адамдар арасында түсініспеушілік тудырған және бір-бірінен сөйлейтін сұмдық пікірталастардың көптеген мысалдары бар. Өзара түсініспеушіліктерге емес, қызықты пікірталастарға назар аударуға және сұрақтарды ашуға көмектесу үшін - кейбір кең таралған мифтерді анықтайық.

УАҚЫТША АҢЫЗДАР

Алғашқы аңыз уақытты қарастырады: машиналар адам деңгейіндегі барлауды едәуір алмайынша қанша уақыт алады? Жалпыға қате тұжырым - бұл жауапты үлкен сенімділікпен білеміз.

Бір әйгілі аңыз - осы ғасырдағы адамнан тыс АИ алуға болатынын білеміз. Шын мәнінде, тарих технологиялық артықшылыққа толы. Бізде қазірдің өзінде уәде етілгендей, біріктіру электр станциялары және ұшатын машиналар қайда? ӨИ-де бұрын-соңды болмаған, тіпті кейбір негізін қалаушылар да көп болды. Мысалы, Джон МакКарти («жасанды интеллект» терминін құрастырған), Марвин Мински, Натаниэль Рочестер және Клод Шеннон тас ғасыры бар компьютерлермен екі ай бойы не істеуге болатыны туралы өте оптимистік болжамдар жасады:  «Бізге 2 ай Жасанды интеллектіні 10 адам зерттеп 1956 жылдың жазында Дартмут колледжінде өткізіледі [...] Тілдерді қалай қолданатындығын, абстракцияны және тұжырымдарды қалыптастыруды, адамдар үшін сақталған мәселелердің түрлерін шешуге және өздерін жетілдіруге тырысады. Егер біз мұқият іріктелген ғалымдар тобы жаз бойы бірлесіп жұмыс жасасақ, онда осы проблемалардың біріне немесе бірнешеуіне елеулі жетістік жасалуы мүмкін деп ойлаймыз ».

Екінші жағынан, танымал қарсы миф - бұл ғасырдан асқан адами АИ алуға болмайтындығын білеміз. Зерттеушілер ғалымдардан қаншалықты алыс болсақ, қаншалықты біз үшін қаншалықты көп бағалар жасағанымызды білеміз, бірақ біз осындай сенімсіз болжамдарды нашар қадағалай отырып, бұл ғасырдың ықтималдығы нөлге жеткеніне сеніммен айта алмаймыз. Мысалы, Эрзст Рутерфорд 1933 жылы Сильярд ядролық тізбекті реакциядан 24 сағат бұрын жасаған ядролық энергияның «лунный» деп атағанына дейін 1933 жылы айтқан болатын. Астроном Ричард Вулли планетааралық саяхат деп атады. білгір «деп аталады. Бұл аңыздың ең шеткі түрі - бұл адамға тән АИ ешқашан физикалық мүмкін болмағандықтан келмейді. Алайда,

АИ зерттеушілеріне қанша жыл бойы бізде кем дегенде 50% ықтималдығы бар адам деңгейіндегі АИ бар деп ойлайтын бірнеше сауалнама бар. Осы зерттеулердің барлығы бірдей қорытындыға ие: әлемнің жетекші сарапшылары келіспейді, сондықтан біз жай ғана білмейміз. Мысалы, 2015 жылы Пуэрто-Рико AI конференциясыбойынша AI зерттеушілерінің осындай сұранысы бойынша орташа (медиандық) жауап 2045 жылы болды, бірақ кейбір зерттеушілер жүздеген жыл немесе одан көп уақытты талап етті.

Сондай-ақ, AI туралы алаңдаушылық білдірген адамдар бірнеше жылдан кейін ғана деп ойлайды. Шын мәнінде, адамдардың көпшілігі адамға қарсы АИ туралы алаңдаушылықпен жазады, ол кемінде онжылдықтар бойы қалды. Бірақ, егер біз бұл ғасырдың болмайтынына 100% сенімді болмасақ, қазір қауіпсіздік мүмкіндігін зерттеуге бару үшін ақылға қонымды. Адами деңгейдегі АИ-мен байланысты қауіпсіздік мәселелерінің көпшілігі соншалықты қиын, олар онжылдықтар бойы шешілуі мүмкін. Демек, кейбір бағдарламашылар Red Bull-ды ішкізуді шешкенге дейін түнде емес, оларды зерттеуді бастау керек.

ҚАРСЫ МИФТЕР

Тағы бір қате түсінік - АИ туралы алаңдаушылық тудыратын және АИ қауіпсіздігін зерттеуді қорғайтын жалғыз адамдар - АИ туралы көп білмейтін луддиттер. Стандартты AI оқулықтарының авторы Стюарт Рассел бұл туралы Пуэрто-Рико сұхбатында айтқан кезде, тыңдаушылар дауыстап күлді. Қатысты жаңылыс дегеніміз, АИ қауіпсіздігі бойынша зерттеулерді қолдау өте күрделі болып табылады. Шындығында, АИ қауіпсіздігін зерттеуге қарапайым инвестицияларды қолдау үшін, адамдарға тәуекелдердің жоғары екендігіне сенімді болудың қажеті жоқ, тек үйде сақтандыруға қарапайым инвестиция үйдің маңызды емес ықтималдығы ретінде негізделген сияқты жанып тұр.

Мүмкін, бұқаралық ақпарат құралдары АИ қауіпсіздігі туралы пікірталасты шынымен де қайшы болып көрінуі мүмкін. Себебі, қорқыныш сатылады, ал мақал-мәтелдерден шыққан мақалалар жақын болашақта жарияланбайтын қиялды жариялауға көмектеседі. Нәтижесінде, медиа-цитаталардан бір-бірінің позициясын білетін екі адам, олар шынымен жасағаннан гөрі келіспейді деп ойлайды. Мысалы, британдық шляпетте Билл Гейтстің позициясы туралы оқыған техно-скептический Гейтстің керемет ойлауды жақын деп санайтындығы туралы ойлауы мүмкін. Дәл сол сияқты, әлеуетті AI қозғалысының біреуі, Андрес Нг-ның жағдайы туралы ештеңе білмейтін, Марс тұрғындарының санының көбеюіне қатысты айтқан сөзінен басқа, ол АИ қауіпсіздігі туралы қамқорлық жасамайды деп ойлайды. Кхкс жай ғана Ng-ның уақыттық бағалауларының ұзағырақ болғандықтан,

МОРАЛЬДЫҚ АИ ТӘУЕКЕЛДЕРІ ТУРАЛЫ МИФТЕР

Көптеген AI зерттеушілері осы тақырыпты көрген кезде өз көздерімен көз тастайды : « Стивен Хокинг роботтардың көтерілуі адамзат үшін қайғылы болуы мүмкін деп ескертеді». Көптеген адамдар олар көрген ұқсас мақалалардың санынан айырылып қалды. Әдетте, бұл мақалалар қаруды алып жүрген зұлым роботпен бірге жүреді және олар роботтарды көтеріп, бізді өлтіруді ойлайды, өйткені олар саналы және / немесе зұлымдыққа айналады. Олар қысқа АИ зерттеушілер сценарийін қорытындылау, өйткені неғұрлым жеңіл ноте, осындай мақалалар, шын мәнінде өте әсерлі болып табылады емес,  туралы алаңдатты. Бұл сценарий сана , зұлымдықжәне  роботтар туралы алаңдаушылық тудырады .

Егер сіз жолды түсіріп алсаңыз, сізде бояулар, дыбыстар және т.б. субъективті тәжірибесі бар . Бірақ өздігінен жүретін машинада субъективті тәжірибе бар ма? Өзін-өзі басқаратын автокөлік болу үшін ол бір нәрсе ретінде сезіне ме? Санадағы бұл құпиясы өздігінен қызықты болса да, ол АИ тәуекеліне байланысты емес. Егер сіз жүргізуші жоқ автомобильді соққыға түсірсеңіз, ол субъективті түрде сезінеді ме? Сол сияқты, қандай бізге адамдарды әсер етеді АИ ой жағынан қандай  жасайды , ол субъективті емес, қалай, сезінеді .

Зұлымдықты қоздыратын машиналардан қорқу - тағы бір қызыл майшабақ. Нағыз мазасыздық - жаманшылық емес, құзыреттілік. Өте мұқият АИ өз мақсаттарына қол жеткізген кезде өте жақсы анықтамамен анықталады, сондықтан біз оның мақсаттарына сәйкес болуымыз керек. Адамдар әдетте құмырсқаларды жек көрмейді, бірақ біз олардан гөрі ақылдырықпыз - егер біз гидроэлектрлік бөгетті салғымыз келсе және онда антил бар болса, онда құмырсқалар үшін жаман. Пайдалы AI қозғалысы адамзатты осы құмырсқалар жағдайында орналастырудан аулақ болғысы келеді.

Сана түсінбеушілігі машиналар мақсаттарға жете алмайтын мифге байланысты. Машиналар мақсатқа бағдарланған мінез-құлықты көрсететін тар мағынада мақсаттарға ие болуы мүмкін: жылу іздестіретін зымыранның мінез-құлқы мақсатқа жетудің мақсаты ретінде ең үнемді түсіндіріледі. Егер сіз өзіңіздің мақсаттарыңызға сәйкес келмейтін машинаға қауіп төндіретін болсаңыз, онда бұл тар мағынада бұл сіздің машина саналы емес және мақсатын сезінбейтіндіктен, сізді алаңдатады. Егер осы жылу зымыраны сізді қуып жүрсе, онда сен: «Мен машиналардың мақсатына жете алмайтындықтан, мен алаңдамаймын», - деп айтпағаншығарсыз .

Родни Брукс пен басқа роботты пионерлерге ризамын, өйткені кейбір журналистер роботтар туралы ойдан шығарып, мақалалардың көптеген қызыл көздерімен зұлымдыққа толы металл монстртерін безендіргендіктен, кейбір журналистер қорқытатын журналистерді әділетсіздікпен қорғады. Іс жүзінде, пайдалы AI қозғалысының басты мәселесі роботтармен емес, барлаудың өзі: әсіресе, біздің мақсаттарымызға сәйкес келмейтін интеллект. Бізге қиындық тудыру үшін, адамға тән ақылға сыймайтын мұндай ақыл-ойлар ешқандай роботтық денеге, тек қана интернет байланысы қажет емес. Бұл қаржы нарықтарының шығынын азайтып, адамзат зерттеушілерін ойлап шығарып, адамзат басшыларын басқарып, қаруды дамыта алмайтынымызды түсінуіміз мүмкін. Тіпті құрылыс роботтары физикалық мүмкін болмаса да,

Роботтың дұрыс емес тұжырымдамасы машиналар адамдарды басқара алмайтын мифмен байланысты. Зияткерлік бақылау бақылауға мүмкіндік береді: адамдар бізді күшті деп санайды, бірақ біз ақылдыбыз. Бұл біздің планетамыздағы ең ақылдылыққа ие бола отырып, бізді бақылауға алуы мүмкін.

ҚЫЗЫҚТЫ ДАУ-ДАМАЙ

Жоғарыда айтылған қателіктерге уақыт жұмсамау бізді шынайы және қызықты дауларға аударуға мүмкіндік береді, тіпті сарапшылар келіспейді. Сізге қандай болашақ қажет? Біз өлтірген автономды қаруды дамыту керек пе? Сіз жұмыс автоматтандыруымен не болғыңыз келеді? Бүгінгі балаларға қандай кәсіби кеңес бересіз? Сіз ескілердің орнына жаңа жұмыс орындарын, немесе бос уақытты және машина жасаумен айналысатын байлықты пайдаланатын жұмыссыз қоғамды ұнатасыз ба? Жолдан шығып, ғаламшарымызда керемет өмірді құрып, оны таратуымыз керек пе? Біз интеллектуалды машиналарды бақылаймыз ба, әлде олар бізді басқарады ма? Зияткерлік машиналар бізді алмастырады ма, бізбен бірге бола ма, әлде бізбен бірге бола ма? Жасанды интеллект дәуірінде адам болу деген нені білдіреді? Сіз бұл нені білдіреді, және болашаққа қалай бола аламыз? Сұхбатқа қосылыңыз!

ҰСЫНЫЛҒАН ӘДЕБИЕТТЕР

Бейнелер

Медиа-баптар

А.И. Зерттеушілердің мақалалары

Ғылыми мақалалар

Зерттеу жинақтары

Тақырыптық зерттеулер

Блогтағы хабарламалар мен келіссөздер

Кітаптар

Ұйымдар

  • Machine Intelligence Research Institute : Коммерциялық емес ұйым, миссиясы - адамнан басқа ақылдылықты жасауды оңтайлы етуді қамтамасыз ету.
  • Эксперименттік тәуекелді зерттеу орталығы (CSER) : адамның жойылуына әкелуі мүмкін тәуекелдерді зерттеуге және жұмсартуға арналған көпсалалы ғылыми-зерттеу орталығы.
  • Humanity Institute келешегі : адамзат пен оның келешегі туралы үлкен суреттерге арналған математика, философия және ғылым құралдарын ұсынатын көпсалалы ғылыми-зерттеу институты.
  • AI бойынша әріптестік : AI технологиялары бойынша озық тәжірибені зерделеу және қалыптастыру, қоғамның АИ түсінігін жетілдіру және АИ және оның адамдарға және қоғамға ықпалын талқылау және талқылау үшін ашық алаң ретінде жұмыс істеу.
  • Global Catastrophic Risk Institute : Жаһандық апатқа ұшыраған зерттеу, білім беру және кәсіби желілерді зерттеуге арналған зерттеу орталығы.
  • Экзистенциалды тәуекелдерге назар аударатын ұйымдар : экзистенциалды тәуекелдер бойынша жұмыс істейтін кейбір ұйымдарға қысқаша кіріспе.
  • 80,000 Hours : AI қауіпсіздік зерттеушілері үшін мансаптық нұсқаулық.

Осы бетте аталған көптеген ұйымдар мен олардың сипаттамалары  Global Catastrophic Risk Institute институтының тізімінен алынған . біз оны құрастырған күш-жігерге біз өте ризамыз. Бұл ұйымдар, ең алдымен, компьютерлік техника мәселелері бойынша жұмыс істейді, бірақ көптеген басқа тақырыптарды қамтиды. Бұл тізім, сөзсіз, толық емес; толықтырулар мен түзетулер енгізу үшін бізбен хабарласыңыз.



Толық нұсқасын 30 секундтан кейін жүктей аласыз!!!


Әлеуметтік желілерде бөлісіңіз:
Facebook | VK | WhatsApp | Telegram | Twitter

Қарап көріңіз 👇



Пайдалы сілтемелер:
» Туған күнге 99 тілектер жинағы: өз сөзімен, қысқаша, қарапайым туған күнге тілек
» Абай Құнанбаев барлық өлеңдер жинағын жүктеу, оқу
» Дастархан батасы: дастарханға бата беру, ас қайыру

Соңғы жаңалықтар:
» Қазақстан пойыздарында үй жануарларын тасымалдау ережелері
» Қазақстандықтар шетелге шығуға жылына қанша жұмсайды?
» Су тасқынынан зардап шеккендерге қосымша тағы 553 мың теңге төленеді
Пікір жазу