AI, Machine Learning, Deep Learning - настояще и бъдеще

[enigma Профил]

В пейпъра, който пуснах, има няколко картинки, които илюстрират перфектно какво се случва.
Няма смисъл в тоя контекст конкретно да се фокусираме върху резолюция.
Ето това е пайплайн-а:

evt_cam_gnn.png

Асинхронния ГНН използва и данни от мрежата на convolutional невронната мрежа, която работи върху РГБ картинките. И така "осмисляме" информация преди да е дошъл следващия кадър.

На тази фигура се вижда в средната колона как с данните от ивент камерата се хващат обекти между два кадъра на РГБ камерата, точно в автомобилен контекст:
https://www.nature.com/articles/s41586- ... /figures/5

А Давид Скарамуца не знам дали има нужда да обяснявам кой е. Всички, които се занимаваме с computer vision в един момент сме ползвали туулбокса му в Матлаб за калибриране на камери. Разработки, където му седи името са абсолютно сериозни и отговорни.

[steeN Профил]

Как няма смисъл? Само преди няколко дни каза, че аз съм виждал нещата прости и едноцветни. Няма перфектни решения, много добре знаеш, че често се решава един проблем за сметка на друг. Тук има две приближаващи се цели, които все още са далече за мен. Едната е рисърча върху нови технологии, които да ги приближава към масова употреба и другото е конкретната употреба в контекста на икономически смислен продукт. Никой не оспорва авторитета на който и да било.

Никелбак, приемам забележката по-леко да го давам, но когато не се чете какво се пише и всеки си говори сам е безмислено да се коментира нещо. Според мен, нито сме стигнали краят на историята на CMOS сензорите, нито на ивент камерите. Не мисля и че ще се върви към намаляне на фреймрейта скоро, напротив обратното или стабилизиране на сегашните нива.

The AI 5 hardware will be much more energy-hungry, reaching 700-800 watts at peak load. This is much more than the Hardware 3 and Hardware 4 computers, which are about 300 watts. However, the AI 5 computer would consume a lot less most of the time, being very energy efficient. This information tells us that Tesla will probably use HW5/AI 5 exclusively on vehicles with a 48-volt architecture.

...

За цветният филтър... да на пръв поглед изглежда елементарно да се реши, но на втори поглед към *сегашният хардуер* разбираш, че 1 или трябва да утроиш пикселите или да намалиш резолюцията 3 пъти. Едното ще вдигне цената, другото е ясно какво ще направи. И като вземеш предвид моето произволно видео (на производителя на сензора, който се ползва в пейпъра, който пусна енигма) където се вижда, че чувствителността на ивент камерата е далече от желаното, искаш да я намалиш още повече като сложиш цветен филтър отпред? Очевидно е знам, но ти поставяш въпроса.

[Nickelback]

...Според мен, нито сме стигнали краят на историята на CMOS сензорите, нито на ивент камерите. Не мисля и че ще се върви към намаляне на фреймрейта скоро, напротив обратното или стабилизиране на сегашните нива.

За цветният филтър... да на пръв поглед изглежда елементарно да се реши, но на втори поглед към *сегашният хардуер* разбираш, че 1 или трябва да утроиш пикселите или да намалиш резолюцията 3 пъти. Едното ще вдигне цената, другото е ясно какво ще направи. И като вземеш предвид моето произволно видео (на производителя на сензора, който се ползва в пейпъра, който пусна енигма) където се вижда, че чувствителността на ивент камерата е далече от желаното, искаш да я намалиш още повече като сложиш цветен филтър отпред? Очевидно е знам, но ти поставяш въпроса.

За бъдещето на бързи и hi-res CMOS-ки, аз лично съм скептичен - просто физически (принцип на действие) няма как да се мерят с новия подход Ще трябва да е някакъв хипер-чувствителен материал, който да го експонираш от нула до X, за някакво извънземно време, че да е конкурентен или близък поне до EvCam. Дето се вика agree to diagree, и аз повече не мисля да засягам въпроса

"Произволно видео" казах (съжалявам, не се изразих точно), защото това е камера за телефон, и хората показват, че работи добре/прилично на фона конвенционална камера. За да постигнеш подобни резултати за такова видео сам виждаш за какви фреймрейти става въпрос. Гледал си разни видеа за slow-motion. Само, че такива видеа на тъмно няма как да снимаш А хората искат да ги снимат и на тъмно и... се прибягва вече до EvCams и при потребителската електроника очевидно. И както добре знаем, ще е поредната n-та камера (изгубвам им бройката напоследък) на гърба на един съвременен телефон, която да работи във fusion с останалите Телефон, който някои от нас/вас сменят по два пъти в годината. Ако екстраполираме към един автомобил, където се изисква redundancy по принцип... сещаш се

[enigma Профил]

Как няма смисъл? Само преди няколко дни каза, че аз съм виждал нещата прости и едноцветни. Няма перфектни решения, много добре знаеш, че често се решава един проблем за сметка на друг.

Имам предвид , че почнах да пускам разработки от него без да обясня кой е, но може да е непознат за аудиторията тук. Той е един от най-големите авторитети в computer vision, и работи близко с различни индустрии за внедряване на реални решения. И на мен ми е помогнал доста.

За едноцветното мислене казах го защото имаш вид директно/класически да подхождаш към проблемите.
Т.е имаш блър -> деблърринг. Имаш топка -> къде е топката ? https://youtu.be/RetJfcD1BEk
В контекста, в който обсъждаме правилният въпрос бих казал е "Според движенията, които виждаме, и физичните закони, къде ще отиде топката?" Имаме си НН да обучаваме по тези въпроси.
Като прилагаме сензор фюжън особено с иновативни решения , е най-добре да се мисли outside the box, като в тоя последния пейпър. Поне сз така виждам, че постигаме най-добрите резултати.

За решението на тези проблеми без допълнителни сензори -също може, но доста по-сложно според мен. Като се обучават тия модели трябва да се мисли контекстно. Т.е. като караш дълго по живописния горски път и дълго не срещаш никого, какво ни казва Симеон Поасон? Вероятността да срещнем някой моторист пред нас става все по-голяма. И играта на сенките , която засичаме с РГБ-то може да се окаже нещо друго - може би трябва да намалим скоростта за да анализираме по-добре ?
В градска среда като видим спрял автобус вероятността човек да изскочи от него или между паркиралите коли е голяма - трябва да имаме готовност да спрем. И така моделът става все по-сложен за моделиране , понеже не е само реактивен. Дори чисто географски има значение къде си, в рамките на един град.

Никълбек, а ти си идеален да направиш една дисертация при Скарамуца. Сигурно не ти се занимава вече, но помисли все пак. Като мислене много ще си паснете. Ти си диамант за всяка подобна програма разбира се, но го споменавам него, защото ми се струва perfect match.
https://nccr-robotics.ch/education/how- ... caramuzza/

И аз правих дисертация на 30+ в Щатите, когато реално не ми трябваше , но от чисто интелектуално любопитство. И не съжалявам. С правилната програма това те “поставя на картата” в съвсем друго измерение.

[steeN Профил]

За едноцветното мислене казах го защото имаш вид директно/класически да подхождаш към проблемите.
Т.е имаш блър -> деблърринг. Имаш топка -> къде е топката ? https://youtu.be/RetJfcD1BEk
Като прилагаме сензор фюжън особено с иновативни решения , е най-добре да се мисли outside the box, като в тоя последния пейпър. Поне сз така виждам, че постигаме най-добрите резултати. .

Точно в случая малко е парадоксално точно това да засягаш, може да се каже, че sensor fusion е класическият подход, който в момента е flavor of the [избери някакъв времеви период тук], а това което правят от Тесла е да вървят срещу течението с един единствен вид сензор... въпрос на гледна точка. Нямам против такива оценки изобщо между другото. Аз по принцип каквото го мисля го казвам също.

With 13 cameras, 4 lidar, 6 radar, and an array of external audio receivers (EARs), our new sensor suite is optimized for greater performance at a significantly reduced cost, without compromising safety. It provides the Waymo Driver with overlapping fields of view, all around the vehicle, up to 500 meters away, day and night, and in a range of weather conditions.

Това на мен ми звучи като хвърляй по стената и виж какво ще залепне подход.

[enigma Профил]

Е аз написах и какво е другото решение ако нямаш sensor fusion. Тесла се опитват да го решат иновативно с класически реактивни методи. А може и да прилагаш sensor fusion по иновативни начини…

Аз не казвам, че решението на Уеймо е най-доброто - но с текущите технологии това се е доказало да е най-безопасно в условията, в които се експлоатира. Иначе си съвсем прав за оценката. Според мен са пропуснали и някой сонар да боднат ако случайно се окаже във вода

[steeN Профил]

В същност интересна тема засягаш. За мен не е нелогично автономен автомобил да има някакъв модел, който да смята каква е безопасната скорост на движение, на база на от като почнем видимост, атмосферни условия, сцепление... до явно така любимият на всички сценарий внезапно изкочило дете (т.е. пак каква част от сцената е скрита)

Аз не бих искал автономната кола, в която се движа да да разчита единствено на възможност за супербързи реакции и навсякъде да перка с 5 км/ч над ограничението на скорост... според мен е напълно логично да има някаква оценка на риска в цялата работа. Точно заради това се случват повечето катастрофи, не заради липса на реакции... а да се вкараш в ситуация, в която каквото и да направиш няма значение.

[Nickelback]

За решението на тези проблеми без допълнителни сензори -също може, но доста по-сложно според мен. Като се обучават тия модели трябва да се мисли контекстно. Т.е. като караш дълго по живописния горски път и дълго не срещаш никого, какво ни казва Симеон Поасон? Вероятността да срещнем някой моторист пред нас става все по-голяма. И играта на сенките , която засичаме с РГБ-то може да се окаже нещо друго - може би трябва да намалим скоростта за да анализираме по-добре ?
В градска среда като видим спрял автобус вероятността човек да изскочи от него или между паркиралите коли е голяма - трябва да имаме готовност да спрем. И така моделът става все по-сложен за моделиране , понеже не е само реактивен. Дори чисто географски има значение къде си, в рамките на един град.

В същност интересна тема засягаш. За мен не е нелогично автономен автомобил да има някакъв модел, който да смята каква е безопасната скорост на движение, на база на от като почнем видимост, атмосферни условия, сцепление... до явно така любимият на всички сценарий внезапно изкочило дете (т.е. пак каква част от сцената е скрита)

Аз не бих искал автономната кола, в която се движа да да разчита единствено на възможност за супербързи реакции и навсякъде да перка с 5 км/ч над ограничението на скорост... според мен е напълно логично да има някаква оценка на риска в цялата работа. Точно заради това се случват повечето катастрофи, не заради липса на реакции... а да се вкараш в ситуация, в която каквото и да направиш няма значение.

По-добре нямаше как да го напишете!

Абсолютно съм на същото мнение, оня ден точно си го мислех. И се опитвах да си обясня, сам на себе си "а бе аджеба, може ли колата да кара само с "очи"... като човека!" Ама човекът е обучаван и самообучаван 18 години поне, за да седне зад волана и житейският му опит не е базиран само на картинки, клипове. Това се чудех, чисто като социален експеримент, ако един човек бива обучаван 18 години са шофира, на седалката на една кола (да гледа как се кара), без социален живот, без грам живот извън колата, с колко ли ще е по-добър шофьор, от един току-що взел книжка след курсове, но отговорен младеж? Не можах да си дам обяснение
Та и аз като вас смятам, че оценката на риска, проактивния и постоянен анализ на процеса е must-have!

Никълбек, а ти си идеален да направиш една дисертация при Скарамуца. Сигурно не ти се занимава вече, но помисли все пак. Като мислене много ще си паснете. Ти си диамант за всяка подобна програма разбира се, но го споменавам него, защото ми се струва perfect match.
https://nccr-robotics.ch/education/how- ... caramuzza/

И аз правих дисертация на 30+ в Щатите, когато реално не ми трябваше , но от чисто интелектуално любопитство. И не съжалявам. С правилната програма това те “поставя на картата” в съвсем друго измерение.

Чувствам се поласкан Надценяваш ме (не)малко за научни трудове - на мен нито математиката ми е на необходимото ниво, нито пък английският, attitude ако щеш дори, няма какво да си кривя душата
Да речем, че не съм си седял на г*за достатъчно навремето, когато е било времето да ги оправя пропуските, а и... вероятно толкова ми е бил/е интелектуалния капацитет, та каквото-такова Последните 10-ина години пооправям нещата в посоката, в която се смятам силен, та що-годе бива. Прост инженер съм си, и то не достатъчно добър, колкото ми се иска, ама това е положението

Виж, смятам за малкия младеж след мен да се постарая да го насоча/насърча повече... Ако иска, разбира се



Sent from my M2102J20SG using Tapatalk

[enigma Профил]

Чувствам се поласкан Надценяваш ме (не)малко за научни трудове - на мен нито математиката ми е на необходимото ниво, нито пък английският, attitude ако щеш дори, няма какво да си кривя душата
Да речем, че не съм си седял на г*за достатъчно навремето, когато е било времето да ги оправя пропуските, а и... вероятно толкова ми е бил/е интелектуалния капацитет, та каквото-такова Последните 10-ина години пооправям нещата в посоката, в която се смятам силен, та що-годе бива. Прост инженер съм си, и то не достатъчно добър, колкото ми се иска, ама това е положението

Аз пък мисля, че много се подценяваш, но ти си знаеш де. Аз само споделям какво виждам. То е основно въпрос на attitude и мотивация.

И на мен лично математиката ми е слаба страна, по моя преценка. В гимназията едва връзвах 4ки, после във военната академия добре че се ползва военната бройна система В колежа дискретната математика почти ме отказа , а и до ден днешен не съм убеден, че съм се научил да броя Но по- натам , след много мъки и безсънни нощи изведнъж осъзнах, че нотациите, формулите, теоремите са просто … нотации, на едно по-различно виждане и разбиране на света Това си има и съответните недостатъци - нормални хора като жена ми се дразнят как подхождам към ежедневни проблеми - “все едно ще изстрелваш ракети на НАСА” , понеже гледам да реша класа от проблеми, а не точно конкретния проблем
А примерно събота сутрин като ходим до фермерския пазар до нас (то е на около 2 мили) , първо сутрин с кафето пускам едно автономно дронче отгоре да обнови картата с вендорите , които ме интересуват (semantic segmentation ), и пускам на бонобото една програмка да ни калкулира оптималната траектория (като се отчита и кои стоки трябва да са най-отдолу в чантата) , и разни други heuristics откъде да се проведе infil, exfil, кои сервитьори са на смяна в закусвалните , които посещаваме и т.н. …

[Nickelback]

Хах, така е, напълно те разбирам. Преди 15-20 години имах доста хаотично мислене. Но с годините прозрях как трябва да се случват нещата, и сега съм доста по-рационален, и както казваш и ти, и аз се стремя да решавам проблемите фундаментално, което е печеливша рецепта като теглиш чертата. Аз съм доста/прекалено самокритичен, та това хем ми помага, хем ми вреди

А примерно събота сутрин като ходим до фермерския пазар до нас (то е на около 2 мили) , първо сутрин с кафето пускам едно автономно дронче отгоре да обнови картата с вендорите...

Хахаха, и ти си не по-малко "луд" и от мен Ами така, та, трябва да се ползват машинките и софтуерите за полезни неща

Иначе по темата... трябва да седна да поровя за разни модели за анализ на риска... как се случват нещата там, че ми стана интересно. Vision NN и LLM да речем, че имам представа как работят в общи линии, но от други нямам идея грам

Sent from my M2102J20SG using Tapatalk

[steeN Профил]

Не мисля, че ще намериш някакви готови модели, по-скоро има различни методологии в други области, от които може да се взимства за да си изградиш модел по начин, по който ти решиш.

Някой рискове може да се избегнат (не минаваш на червено ), други да се намалят (спираш на стоп знак), да се прехвърли върху 3та страна (затраховка примерно) и най-накрая такива, които трябва да приемеш (каквото и да правиш някой пак може да ти се метне пред колата).

В крайна сметка за конкретният проблем, който се коментира, според мен искаш от някакъв крайно число параметри да получиш едно число км/ч. Много е просто

[Nickelback]

...

Абсолютно съм съгласен!

Сетих се - я кажете, според вас, и "Ръката на Мъртвеца" за ответен ядрен удар, е някаква подобна NN ли?

Sent from my M2102J20SG using Tapatalk

[steeN Профил]

Според мен е просто heartbeat система с няколко нива на ескалация, като най-отгоре е най-големият вожд.

[enigma Профил]

Според мен е просто heartbeat система с няколко нива на ескалация, като най-отгоре е най-големият вожд.

heartbeat + сеизмични и радиационни сензори. Съвсем проста система (както и трябва да е) , но доколкото знам е напълно децентрализирана - т.е. всяко ударно звено решава независимо, когато е активирана системата и все някое ще сработи колкото и да е калпаво всичко .

За НН за изчисляване на рисковете - да, не мисля, че има нещо готово поне в този контекст.
Аз ако правя подобна система бих подходил така:


1. На входно ниво вкарвам разни параметри като метеорологични условия, вид на пътя, данни от Гугъл мапс колко е натоварено наоколо, колко са заети заведенията и бизнесите наоколо, разписания на училища и градски транспорт и т.н. При нас може да се вадят и статистики от полицията за пътните инциденти - т.е. къде, кога как.

2. Feature Extraction - convolutional layers за "картинния тип" данни, recurrent layers (LSTM - long short term memory/ GRU - gated recurrent unit) за time series като времето, разписанията ...

3. Fusion Layer - комбиниране на всичките различни видове параметри

4. Fully Connected Layers - където се изчислява риска както го разбираме

5. Output Layer - Математическа функция, която трансформира риска в препоръчителна скорост - вероятно като коефициент на разрешената скорост в района.

[enigma Профил]

Колко сме напреднали в monocular depth estimation благодарение на ДЛ… точно тия дни моите хора ми представиха нова разработка , от една картинка можем да генерираме 3д модел с точност <1см за приложението, което ни интересува . Разбира се има и други разработки … Marigold , Apple също изкараха нещо … но нищо до сега не е имало такава прецизност разбира се това важи за нашия контекст , но до догодина ще го представям на CVPR Само преди няколко години такива модели бяха немислими, дори и със стерео камери…

IMG_2708.jpeg