AI, Machine Learning, Deep Learning - настояще и бъдеще

[Jordana Профил]

Тука в кварталния магазин има един такъв робот изкуствен интелект , сложна невронна структура и подобни бла бла бла ..ходи нагоре надолу и предлага някакви стоки . Като види човек се бута отгоре му и почва да бръщолеви няккави глупости . Даже на децата вече им омръзна , като го видят че се задава и бягат на другата посока .
https://www.youtube.com/watch?v=YKM4IhjfgjE

[enigma Профил]

Да не вземе тоя робот както те гледа да се научи да продава, слага и ремонтира климатици, 3 в 1, да видим колко ще ти е смешно тогава

[Jordana Профил]

То и кучето така с гледане станало касапин , а жабата пък си дигнала лапата да и сложат подкови като видя че подковават коня ...

[steeN Профил]

...

Това са интересни статии, мерси. От другият разговор, според теб event cameras няма да се позлват както си представям, без да съм казал как си представям.

Scaramuzza: Yeah. We have been working on that exact thing, combining event cameras with standard cameras, now for the past three years. So initially, when we started almost 10 years ago, of course, we only focused on event cameras alone, because it was intellectually very challenging. But the reality is that an event camera—let’s not forget—it’s a differential sensor. So it’s only complementary with standard camera. You will never get the full absolute intensity from out of an event camera. We show that you can actually reproduce the grayscale intensity up to an unknown absolute intensity with very high fidelity, by the way, but it’s only complementary to a standard camera, as you correctly said. So actually, you already mentioned everything we are working on and we have also already published. So for example, you mentioned unblurring blurry frames. This also has already been done, not by my group, but a group of Richard Hartley at the University of Canberra in Australia. And what we also showed in my group last year is that you can also generate super slow motion video by combining an event camera with a standard camera, by basically using the events in the blind time between two frames to interpolate and generate arbitrary frames at any arbitrary time. And so we show that we could actually upsample a low frame rate video by a factor of 50, and this with only consuming one-fortieth of the memory footprint.

Ето ти един пример, в който горно описаното няма да помогне в контекста на автомобилни приложения. Искаш да намалиш реакцията на "колата" при светване на стоп или червен сигнал на светофара.
Как ще "запълниш" липсващите кадри с помощта на данните за разликите спрямо времето от event camera без да има цвят? Ще кажеш примерно, че знаеш цвета на повърхността от предният кадър и понеже виждаш разлика в интензитета трябва да е същият цвят... дали е толкова просто (реторичен въпрос)? Очевидно, нагазваш в съвсем друг проблем, който едва ли искаш тепърва да решаваш с цел просто да позлваш някакъв вид сензор. Не виждам с каква цел се опитваш да ме убедиш как преди тези камери да постигнат висока резолюция, цвят и ниска цена ще могат да излязат от лабораториите и всички трябва да спрат да правят каквото правят и да чакат това да стане? Кога ще има прогрес по този начин?

[enigma Профил]

Проблема, който решаваме с тия камери не са трафик сигнали, а динамични обекти на сцената. Използват се естествено в комбинация с глобал шътър камерите.

Отдавна са излезли от лабораторията , колко да са скъпи… под $5к бълк, от порядъка на machine vision cameras. Виж примерно Prophesee.ai

В автоиндустрията не знам кога ще навлезнат, но аз примерно и в момента имам SaaS продукт базиран на тях , от 2г вече…

[steeN Профил]

Това със светлините е просто частен случай на бърза промяна на интензитета на светлината, който илюстрира нещо...

Колко струват 8-те 5 мегапикселови камери, които Тесла ползва в момента общо според теб? Може ли да се върнем обратно на земята?

[Nickelback]

Аз ивент камера не съм виждАл (още), за разлика от доста други конвенционални, ама пак да си поразсъждавам от "моята камбанария"

Такъв един подход на диференциална репрезентация на сцената е доста ефективен, и откъм bandwidth, и откъм енергия, но и съответно откъм надеждност и възможност за адекватна реакция случай на breakdown. И страхотен кандидат да работи в симбиоза с твърда логика (FPGA или ASIC), която вече доста по-интелигентно да свърши safety critical fallback-a като сгъне "главния мозък" Което е немислимо да го докараш с класическа readout камера Spunky много добре и точно го нарече на няколко пъти - "броене на пиксели"
Помня преди години как се кефехме с колеги на сензорите с DPCM (диференциална импулсно-кодова модулация) на данните, кооолко много ни разтоварваше ISP-то и interconnect шините в SoC-а. Та явно е еволюирала идеята още доста И като казвам ефективност, това означава и облекчени термални режими на чипове и всьо. Вече човешки системен bandwidth, който да се ползва за "по-смислени неща", пък бил той и доста широк.
Магията и решението са в простите неща С две думи - вече наистина по-оправяме "очите" с тези ивент камери, и може да се концентрираме върху "мозъка". А то там е ключа от бараката

[enigma Профил]

Промяна в интензитета обикновено не е нещо фатално. В случаите, когато е - със сигурност има и други артефскти на сцената, които го показват. Кажи конкретни примери ако се сещаш .
Не знам колко струват камерите на Тесла. Цената, което казах е за окомплектована камера с Ип65 протекция и т.н. … за сензор и чип ще е 2-3 пъти по-малко предполагам. Но в крайна сметка няма как да имаш безопасна автономна система ако сензорите ти не са адекватни за реалния свят. Видя как изглежда човек изскочил в тъмното от оня пример, нали…


Още нещо да поясня какво имах предвид за сигнал процесинга… в контекста на невронните мрежи това е multi pronged approach. Освен да се филтрира това , което влиза , някои техники се използват и за разбиране и подобряване на архитектурата. Ето някои примери https://signalprocessingsociety.org/new ... l-networks

[steeN Профил]

Нали този тип сензор точно това прави, следи за промяна в интензитета пиксел по пиксел, асинхронно. От там има две ползи - запълване на липсваща информация между кадрите и "елиминиране" на motion blur. Очевидно давам сценарий, в който липсата на цвят неутрализира ползата от него. Това за пешеходеца го има в wikipedia статията... в случая е друг проблем motion blur, не липсваш информация между кадрите. Скептичен съм, че има смисъл за срещу съвременен RGB сензор в контекста точно на пешеходец, може бе пресичаща кола да... но ако тя се движи с толкова голяма скорост има ли значение изобщо дали ще реагира системата. Не във всички ситуации има решение.

Ще поживеем и ще видим дали тези камери ще намерят приложение преди да успеят да ги направят цветни... за цената Тела камерите не повече от $50 на бройка и радарът отпред и той сигурно в там някъде. Несравнимо както и да го погледнеш.

Иначе обобщението на пейпъри е интересно особено това за overparametrizarion, защо не води до overfitting, но е beside the point, за който ти се хвана.

[Nickelback]

Нали този тип сензор точно това прави, следи за промяна в интензитета пиксел по пиксел, асинхронно. Очевидно давам сценарий, в който липсата на цвят неутрализира ползата от него. Това за пешеходеца го има в wikipedia статията... в случая е друг проблем motion blur, не липсваш информация между кадрите. Скептичен съм, че има смисъл за срещу съвременен RGB сензор в контекста точно на пешеходец, може бе пресичаща кола да... но ако тя се движи с толкова голяма скорост има ли значение изобщо дали ще реагира системата. Не във всички ситуации има решение.

Ще поживеем и ще видим дали тези камери ще намерят приложение преди да успеят да ги направят цветни... за цената Тела камерите не повече от $50 на бройка и радарът отпред и той сигурно в там някъде. Несравнимо както и да го погледнеш.

Понеже се хвана за цвета - защо винаги така се вглъбяваш в използването на един единствен сензор, една единствена технология, ако може, само и само да върви спора (поне така изглежда отстрани тезата ти)? Защо да не се ползва "най-доброто от 2-та/3-те/10-те свята ако щеш" и да се направи надеждна и консистентна в резултатите си система? (риторичен въпрос, понеже въщност точно на fusion се базира всичко надеждно откъм сейфти (с redundancy), точност, повтаряемост на резултатите и т.н. и т.н.). Просто трябва да теглиш черта до цената, която те устройва
А цената се определя от всички компоненти на продукта дето продаваш. И не на последно място - работата по проектирането и асемблирането му. И може да се окаже, че с използването на уж едно по-скъпо нещо, всъщност ти се разтоварва откъм необходими компоненти и изискванията към тях, цялата система Та да не вземе накрая да излезе и по-евтина една такава автономна система..? (пак риторичен въпрос - все по-скъпи стават )

[steeN Профил]

Напротив, дадох конкретен пример (edge case ако щеш, ама доста важен) как съвместната работа на двата сензора (event + rgb) не води до повече информация... на този етап на технологията. Върни се и прочети внимателно примера. Освен това в предни мнения споменах, че смятам че РАдар е доста съществен сензор също.

Няма как да е по-евтина (или поне аз не виждам как), този сензор в момента може само да запълва липсваща информация между кадри и да "премахва" motion blur (и там още няколко случая като overexposure и подобни известни лимити) Дай ми пример как ще стане по-евтини като това изисква допълнителна обработка отгоре на това, което се прави... а не елиминира такава (да не говорим пък за хардуер).

П.с. Ако трябва да подходя хумористично, еволюцията от милиони години ни е дала 2 rgb event cameras и никакви други сензори за светлина... и с тях се справяме доста задоволително със шофирането но пък нямаме радар за да виждаме през мъгла

[Nickelback]

Напротив, дадох конкретен пример (edge case ако щеш, ама доста важен) как съвместната работа на двата сензора (event + rgb) не води до повече информация... на този етап на технологията. Върни се и прочети внимателно примера.

Няма как да е по-евтина, този сензор в момента може само да запълва липсваща информация между кадри и да "премахва" motion blur (и там още няколко случая като overexposure и подобни известни лимити) Дай ми пример как ще стане по-евтини като това изисква допълнителна обработка отгоре на това, което се прави... а не елиминира такава (да не говорим пък за хардуер).

Пак гледаш на ниво компонент, което според мен е грешно, но е нормално, защото вероятно нямаш поглед върху останалото и къде всъщност е скъпото в индустрията.
Давам пример:
Сам по себе си, ивент сензора работи така както казваш, да. Но... Както казах, в комбинация с твърда логика, става доста по-интелигентен като компонент и най-вече надежден сензор спрямо от конвенционалните (rolling и global shutter) GMSL камери в момента. Пък били те и с "вграден AI" (Mobileye-ските реферирам, които бяха златния стандарт преди години). Теорията ми е, че една такава камера "Event sensor+FPGA" ще поеме огромна част от computation товара, на който е подложена двойката "конвенционалната камера...+AI compute". Неслучайно слагам точките (...), с което илюстрирам:
- propagation delay
- кабели
- дейта преливане "от пусто в празно"
- прегряване и т.н.

Самата природа на ивент сензора облекчава изискванията към всичко останало нататък по веригата, което сваля цената за проектиране, сертифициране, материали, сглобяване, брак и т.н. и т.н. Самият ивент сензор с диференциалните си усилватели на всеки пиксел свършва огромна част от работата, отколкото SoC-a да брои пиксели, да да ги edge enhance-ва, да прилага vision NN на 2D сурова картинка, и т.н. неефективни, според мен методи
Едно е да се чудиш как да поемеш целия суров datastream от всичките readout камери и други сензори и да се чудиш как надеждно да го охлаждаш и сертифицираш това говедо къмпюта (май беше към терабит в секунда - нещо такова ми се мерна в AI days - гледах го вчера като каза), а съвсем друго е, да работиш с в вече абстрактнати/обобщени данни, предоставени вече от по-интелигентни субсистеми

[steeN Профил]

Не се разбираме явно.

Може ли да бъдеш по-конкретен? В случая аз както го разбирам... за да е вярна хипотезата, която поставяш, добавянето на event camera би могла да разтовари нещо, само ако се намали framerate на RGB камерите, което от своя страна да намали изискванията за bandwidth и изчислителна мощ (което е хардуера, който към който реферираш)... което да е net benefit. Това добра идея ли е според теб?

п.с.
Много добре разбирам предимствата на сензор като event camera, който ползва много малко енергия и е супер ефективен като количество информация, в контекста на всички тия детайли които изброи.

[Nickelback]

Не се разбираме явно.

Може ли да бъдещ по-конкретен? В случая аз както го разбирам... за да е вярна хипотезата, която поставяш, добавянето на event camera би могла да разтовари нещо, само ако се намали framerate на RGB камерите, което от своя страна да намали изискванията за bandwidth и изчислителна мощ (което е хардуера, който към който реферираш)... което да е net benefit. Това добра идея ли е според теб?

Да, ако ивент камерата ми дава motion vectors (поне - а защо не и нещо по-абстрактно!?), бих се радвал (на ниво SoC), отколкото да ми дава raw 5-мегапикселови картинки на 120fps

[steeN Профил]

Ето тук мисля, че идва разминаването ни. Аз смятам, че в контекста на коли специално, цвят е много важен data point. Мисля, че предната камера на Тесла работи на 60 fps и страничните на 30 fps.
Ако можеш да ме убедиш, че цвета не толкова важен... ще се съглася с теб... Въпреки, че има и какво да се желае от към разделителна способност още.

От интервюто което енигма постна, запълването на липсваща информация между кадрите беше цитирано като порядък 50 пъти, което е наистина впечатляващо. Ограничено от това [предполагам], че ивент камерите не могат да мерят абсолютен интензитет, т.е. им трябва някаква отправна точка през някакъв интервал от време.