Ce este App Builder-ul de la OpenMind și cum funcționează?

Minte deschisă construiește instrumente menite să reducă complexitatea dezvoltării de software pentru mașini autonome. În centrul acestui efort se află OM1, un sistem de operare open source conceput pentru roboți și alte dispozitive inteligente. Compania descrie adesea OM1 ca o platformă de robotică în stil Android, adică un runtime partajat care abstractizează diferențele hardware, permițând în același timp dezvoltatorilor să se concentreze pe comportament și logică.

Recent, OpenMind a introdus Constructor de aplicații OpenMind, un instrument de configurare vizuală în portalul său pentru dezvoltatori, care permite dezvoltatorilor să creeze, să modifice și să implementeze aplicații robotizate fără a scrie cod pentru sarcini comune. Anunțul, făcut prin intermediul contului oficial X al companiei, a fost însoțit de un scurt videoclip demonstrativ care prezenta produsul în utilizare.

Acest articol explică ce este OpenMind App Builder, cum funcționează la nivel tehnic și unde se încadrează în ecosistemul OM1 mai larg.

Care este misiunea mai amplă a OpenMind?

Scopul OpenMind este de a permite utilizarea mașinilor autonome prin standarde comune și software modular. OM1 este licențiat sub licența MIT și este dezvoltat deschis pe GitHub, unde a atras mii de stele și contribuții din partea comunității. Runtime-ul este conceput pentru a suporta o gamă largă de roboți, inclusiv umanoizi, patrupede precum seria Unitree Go și platforme mobile de cercetare precum TurtleBot.

 Companie susținută de Pi Network Ventures este, de asemenea, un contribuitor important la Fundația Fabric, o organizație axată pe standarde pentru coordonarea mașinilor autonome și identitatea on-chain. Fabric promovează specificații precum ERC 7777, care definește modul în care pot fi descrise și schimbate comportamentele roboților. App Builder este poziționat ca o interfață practică deasupra acestor sisteme subiacente.

Ce este OpenMind App Builder

OpenMind App Builder este o interfață vizuală no-code și low-code pentru configurarea comportamentului roboților pe OM1. Se accesează prin portalul pentru dezvoltatori OpenMind după crearea unui cont. În loc să scrie manual fișierele de configurare, dezvoltatorii construiesc aplicații prin asamblarea de noduri vizuale care reprezintă modurile robotului și definirea modului în care se conectează aceste moduri.

Fiecare aplicație este reprezentată ca o diagramă logică. Nodurile corespund stărilor comportamentale, cum ar fi salutul, navigarea sau maparea. Tranzițiile dintre noduri definesc când și cum trece robotul de la un comportament la altul. Configurația rezultată este salvată și poate fi implementată direct pe hardware compatibil prin intermediul portalului.

App Builder nu înlocuiește programarea tradițională. Mai degrabă, se bazează pe sistemul de configurare OM1 și exportă fișiere de configurare structurate care pot fi extinse sau modificate în cod pentru cazuri de utilizare avansate.

Descoperă proiecte promițătoare...

Proiecte promițătoare...

(Publicitate)

Articolul continuă...

Concepte și terminologie de bază

Înțelegerea App Builder necesită familiarizarea cu mai multe concepte OM1.

Moduri

Un mod este o stare comportamentală discretă. De exemplu, un robot ar putea avea un mod de bun venit, un mod de navigare și un mod de memorie. Fiecare mod definește ce model de limbaj este utilizat, ce senzori sunt activi, ce acțiuni sunt permise și contextul de fundal disponibil.

Noduri și tranziții

În editorul vizual, fiecare mod apare ca un nod. Tranzițiile sunt legături direcționale între noduri. O tranziție include condiții care determină momentul în care robotul trece de la un mod la altul. Dezvoltatorii pot specifica faptul că o comandă rostită declanșează o trecere de la comportamentul inactiv la navigare.

Intrări, acțiuni și fundaluri

Intrările reprezintă surse de senzori sau de date, cum ar fi microfoane, camere sau fluxuri web. Acțiunile reprezintă ieșiri, cum ar fi comenzi de mișcare, sinteză vocală sau scrieri în memorie. Fundalurile oferă context persistent, cum ar fi locația GPS sau starea de navigare.

Cârlige pentru ciclul de viață

Fiecare mod include hook-uri pentru ciclul de viață, inclusiv un prompt de sistem pentru modelul de limbaj. Acest lucru permite dezvoltatorilor să controleze modul în care modelul se comportă într-un anumit mod folosind instrucțiuni în limbaj natural stocate ca parte a configurației.

Cum funcționează în practică App Builder?

Videoclipul demonstrativ publicat odată cu anunțul prezintă întregul flux de lucru de la început până la implementare.

Selectarea unui robot

Când un dezvoltator deschide App Builder, primul pas este selectarea unei mașini din bara laterală. Aceasta asociază configurația cu un profil specific de robot, inclusiv senzorii și acțiunile sale suportate. OM1 oferă abstractizare hardware printr-un strat dedicat, permițând reutilizarea aceleiași configurații la nivel înalt pe mașini similare.

Moduri de construire vizuale

După selectarea unui robot, pânza se populează cu o diagramă logică inițială. Dezvoltatorii pot adăuga moduri noi făcând clic pe o pictogramă plus. Fiecare mod nou deschide un panou de editare unde sunt definiți parametrii.

În acest panou, dezvoltatorul selectează un model lingvistic dintr-o listă derulantă. Opțiunile acceptate includ mai multe modele comerciale și deschise. În continuare, se adaugă intrări, cum ar fi recunoașterea automată a vorbirii pentru controlul vocal sau fluxurile camerei pentru vedere. Apoi se aleg acțiuni, cum ar fi navigarea sau ieșirea vocală. De asemenea, se pot activa fundaluri precum GPS sau contextul de navigare.

Toate modificările sunt salvate imediat, iar pânza se actualizează pentru a reflecta configurația curentă.

Definirea tranzițiilor

Odată ce modurile sunt create, tranzițiile sunt definite prin glisarea unui conector de la un nod la altul. Aceasta deschide un editor de reguli unde sunt specificate condițiile. Condițiile pot face referire la intrări, stare internă sau alte semnale. De exemplu, o regulă de tranziție ar putea specifica faptul că o comandă vocală recunoscută determină robotul să părăsească modul inactiv și să intre într-un mod de navigare.

O funcție de formatare automată rearanjează pânza pentru a menține diagrama de flux lizibilă pe măsură ce crește.

Implementare

Când configurația este completă, dezvoltatorul o poate implementa direct din interfață. Configurația este încărcată pe robot prin portalul OpenMind și aplicată fără transferuri manuale de fișiere. Pentru echipele care utilizează OM1 local sau în fluxuri de producție, aceeași configurație poate fi implementată folosind instrumente din linia de comandă sau fluxuri de lucru containerizate.

Modele și componente acceptate

Conform OpenMind, App Builder acceptă în prezent peste șase modele lingvistice, peste patruzeci de intrări, treizeci de acțiuni și peste zece contexte de fundal. Aceste cifre reflectă designul modular al OM1, unde fiecare componentă este implementată ca un plugin.

Modelele de limbaj pot fi schimbate fără a rescrie logica aplicației. Intrările și acțiunile sunt în mod similar interschimbabile, atâta timp cât hardware-ul subiacent le acceptă. Această abordare permite dezvoltatorilor să experimenteze rapid diferite configurații, menținând în același timp o structură consistentă.

Integrare cu OM1 și fluxuri de lucru bazate pe cod

Deși App Builder pune accent pe configurarea vizuală, acesta este conceput să se integreze cu baza de cod OM1.

Dezvoltatorii pot exporta configurațiile ca fișiere structurate și le pot stoca în controlul versiunilor. Utilizatorii avansați pot crea intrări și acțiuni personalizate adăugând module Python în directoarele corespunzătoare din depozitul OM1. Aceste componente personalizate apar apoi în interfața App Builder pentru selecție.

Pentru implementare la scară largă sau pe dispozitive edge, cum ar fi hardware-ul Nvidia Jetson, OM1 acceptă configurări bazate pe containere. App Builder completează aceste fluxuri de lucru prin reducerea timpului petrecut cu configurarea inițială și iterația.

Abstractizare și portabilitate hardware

Unul dintre principalele obiective de design ale OM1 este agnosticismul hardware-ului. App Builder reflectă acest lucru prin expunerea doar a comportamentelor de nivel înalt, în loc de controlul motor de nivel scăzut. De exemplu, un dezvoltator poate configura o acțiune de navigare fără a specifica modul în care se mișcă articulațiile individuale.

Această abstractizare este implementată printr-un strat de abstractizare hardware care conectează acțiunile OM1 la kituri de dezvoltare software specifice roboților, cum ar fi ROS2 sau API-uri ale furnizorilor. Drept urmare, aceeași logică a aplicației poate fi adesea reutilizată pe diferiți roboți cu modificări minime.

Limitări și considerații

Instrumentul App Builder este conceput pentru a simplifica sarcinile comune, dar nu elimină necesitatea judecății inginerești.

Unele platforme hardware au suport limitat, în funcție de capacitățile de calcul. Seturi complete de funcții sunt disponibile în prezent pe sistemele mai noi bazate pe Nvidia, în timp ce platformele mai vechi pot necesita compromisuri. Runtime-ul de bază al OM1 limitează, de asemenea, accesul direct la internet din motive de siguranță și fiabilitate, ceea ce afectează modul în care sunt utilizate API-urile externe.

Pentru o autonomie complexă, dezvoltatorii sunt așteptați să combine configurațiile App Builder cu simulare, învățare prin recompensă și testare extinsă. Documentația OpenMind pune accentul pe pornirea de la comportamente simple și validarea acestora în medii simulate înainte de implementarea pe mașini reale.

Concluzie

OpenMind App Builder este un instrument de configurare vizuală care se bazează pe runtime-ul OM1 și simplifică crearea și implementarea aplicațiilor robotice. Prin reprezentarea comportamentului roboților ca moduri, tranziții și componente modulare, permite dezvoltatorilor să asambleze aplicații funcționale fără a scrie cod pentru fiecare pas.

Valoarea sa constă în reducerea dificultăților de configurare, rămânând în același timp compatibilă cu fluxurile de lucru bazate pe cod. Pentru echipele care construiesc pe OM1, App Builder oferă o modalitate structurată de a proiecta, testa și implementa comportamentul roboților pe diferite platforme hardware. În loc să înlocuiască dezvoltarea tradițională, acesta servește ca o interfață care face sistemul subiacent mai accesibil și mai ușor de abordat.

Surse:

• Postare XAnunțarea constructorului de aplicații OpenMind 
• Portal pentru dezvoltatoriConstruiți aplicații pe OpenMind