Na Kalifornské univerzitě v Berkeley výzkumníci z laboratoře robotické umělé inteligence a učení Sergeye Levina sestavili věž z 39 dokonale naskládaných kostek Jenga. Pak k věži nasměrovali robota s bičem. Bič udeřil přesně na správné místo a vyslal jeden kostku ven, zatímco zbytek věže zůstal v poklidu stát. Tento úkol, známý jako „Jenga whipping“, je koníčkem lidí s mimořádnou obratností a reflexy. Roboti jej zvládli díky nové metodě tréninku s využitím umělé inteligence, kterou vytvořil Levine a další členové týmu. Nový systém s názvem Human-in-the-Loop Sample Efficient Robotic Reinforcement Learning (HiL-SERL) je popsán ve studii, která vyšla v časopise Science Robotics. Metoda učí roboty, jak provádět složité úkoly, jako je „Jenga whipping“, se 100% úspěšností. Roboti se učí působivou rychlostí, která jim umožňuje naučit se během jedné až dvou hodin, jak dokonale sestavit základovou desku počítače, postavit polici a další.

„Když robot poprvé zvládl výzvu Jenga, „opravdu mě to šokovalo,“ řekl hlavní autor studie Jianlan Luo, postdoktorandský výzkumník na Kalifornské univerzitě v Berkeley. „Úkol Jenga je pro většinu lidí velmi obtížný. Zkoušel jsem to a měl jsem 0% úspěšnost.“ (My jsme v redakci sestavovali stěnu z Ikea. Úspěšnost byla 72% po pěti dnech...) V posledních letech se oblast učení robotů snaží vyřešit problém, jak naučit stroje nepředvídatelným nebo složitým činnostem, na rozdíl od jediné akce, jako je opakované zvedání předmětu z určitého místa. Aby se tento problém vyřešil, Levineova laboratoř se zaměřila na takzvané „učení se zpětnou vazbou“. Při učení se zpětnou vazbou, se robot pokouší o úkol v reálném světě a s využitím zpětné vazby z kamer se učí ze svých chyb, aby tuto dovednost nakonec zvládl.

V Berkeley vstoupil do robotického učení také lidský činitel, proces učení se tak výrazně urychlil. Pomocí speciální myši, která robota ovládá, může člověk robota korigovat a tyto korekce lze začlenit do robotovy příslovečné paměťové banky. Pomocí učení zpětnou vazbou robot analyzuje součet všech svých pokusů – s asistencí i bez ní, úspěšných i neúspěšných – aby lépe vykonával svůj úkol. Luo uvedl, že člověk musel zasahovat stále méně, jak se robot učil ze zkušeností. „Musel jsem robota hlídat asi prvních 30 % pokusů“ řekl. Laboratoř podrobila svůj robotický systém řadě složitých úkolů, které překračovaly rámec „Jenga whipping“. Robot obracel vejce na pánvi, podával předmět z jedné paže do druhé, sestavil základní počítačovou desku, palubní desku auta a rozvodový řemen. Výzkumníci vybrali tyto úkoly, protože byly rozmanité a Luovými slovy představovaly „výzvy pro provádění robotických úkolů ve složitém reálném světě“. Výzkumníci také testovali přizpůsobivost robotů inscenováním nehod. Donutili robotickou ruku k otevření, aby upustila předmět nebo pohnula základovou deskou, když se robot pokoušel instalovat mikročip, a tak ho naučili reagovat na měnící se situaci, se kterou by se mohl setkat mimo laboratorní prostředí. Na konci tréninku byl robot schopen tyto úkoly provádět správně ve 100 % případů. Výzkumníci porovnali své výsledky s běžnou metodou „kopíruj mé chování“, známou jako behaviorální klonování. Jejich nový systém roboty zrychlil a zvýšil jejich přesnost. Tyto metriky jsou klíčové, uvedl Luo, protože laťka pro využití robotů je velmi vysoká. Luo zdůraznil, že zejména výrobní procesy, jako jsou ty, které se často používají pro elektroniku, automobily nebo letecké díly, by mohly těžit z robotů, kteří se dokáží spolehlivě a adaptabilně naučit řadu úkolů. Dalším krokem by podle Luo mělo být předprogamování systému se základními schopnostmi manipulace s objekty, čímž by se eliminovala potřeba učit se tyto dovednosti od nuly a místo toho by se rovnou přešlo k osvojování složitějších dovedností. Laboratoř se také rozhodla zveřejnit svůj výzkum jako open source, aby jej mohli používat a dále na něm stavět další výzkumníci. „Klíčovým cílem tohoto projektu je učinit technologii stejně dostupnou a uživatelsky přívětivou jako je třeba iPhone,“ řekl Luo. „Pevně ​​věřím, že čím více lidí ji bude moci používat, tím většího pokroku můžeme dosáhnout.“ Fotka od Bob McEvoy z Pixabay Fotka od Alexandra_Koch z Pixabay