IMX500 SONY اولین ایمیج سنسور AI که در دنیا معرفی شد

IMX500 SONY  اولین ایمیج سنسور  AI  که در دنیا معرفی شد
دستگاه کنترل تردد کارابان

IMX500 مجموعه جدیدی از ایمیج سنسورهای هوشمند شرکت سونی است که شامل سیستم‌های آنالیز تصویر هوش مصنوعی به طور مستقیم بر روی تراشه است و برخی توانایی های جدید تر و سریعتر را برای دوربین ها راه اندازی میکند .
این مقاله دو مدل تراشه هوشمند تصویری CMOS سونی IMX500 , IMX501 را توصیف میکند . میتوان گفت این دو در اصل تراشه های یکسان هستند و تنها تفات در این است که سری ۵۰۰ به صورت تراشه خالی عرضه شده ، درحالی که سری ۵۰۱ به صورت پکیج عرضه شده است.

هردوی آنها نسبت ابعادی ۱/۲.۳″ دارند و ۱۲.۳ مگاپیکسل رزولیشن موثر آنهاست . به نظر می‌رسد که یکی از بازارهای اولیه برای تراشه جدید برای دوربین‌ و سیستم های امنیتی است. با این حال داشتن پردازنده های AI روی تراشه برخی قابلیت های جدید هیجان انگیز را برای آینده ی دوربین های تصویربرداری هم ارائه میدهد ، به طور خاص برای دوربین های نصب شده روی هواپیماهای بدون سرنشین و یا دوربین های متحرک مثل GOPRO یا INSTA360 این توانایی ها کاربردی خواهد بود .

توانایی های سنسور IMX500 چیست ؟

یک توانایی مهم و برجسته این سنسور عملکرد این سنسور در تشخیص افراد یا اشیا است. این توانایی میتواند از طریق ردیابی اشیا و یا درواقع شناسایی آنها باشد . خروجی این تراشه جدید لازم نیست درقالب تصویر باشد . خروجی میتواند متادیتا باشد و به سادگی یک توصیف از آنچه میبینید را بدون آنکه همراه تصویر بصری باشد ارائه دهد این کار متیواند حجم اطلاعات ذخیره شده را تا ۱۰۰۰۰ برابر کاهش دهد.
برای دوربین ها یک سیستم امنیتی ، یک دوربین که این تراشه جدید در آن به کاررفته است میتواند افرادی که از جلوی این دوربین عبور کرده اند یا کمبودی از موجودی یک کالا را روی یک قفسه فروشگاه شناسایی کند. میتوان این مدل از دوربین ها را بزنامه ریزی کرد تا رفتار مشتری را با استفاده از heat map شناسایی کنند .

این تراشه جدید به نسبت مدل های قبلی یک پردازنده سیگنال (DSP) و یک حافظه برای پردازش واحد AI دارند و نیاز به یک پردازنده قوی یا یک حافظه خارجی قوی را از بین برده است.

ساختا هوش تصویری جدید SONY :
برای دوربین های قدیمی میتواند فوکوس اتوماتیک را بوسیله توانایی خیلی بیشتری که در شناسایی و ردیابی اشیا دارد بهتر کند.
با کمک سیستم AI شبیه این میتوان فوکوس اتوماتیک را بوسیله شناسایی فضاهایی که میخواهید تصویر روی آن تمرکز کند هوشمندتر کرد. برای مثال اگر شما میخواهید عکس یک گل را بگیرید سیستم فوکوس اتوماتیک (AF) خواهد فهمید تا روی گل به جای شاخه درخت پشت سرش فوکوس کند . فرآیند تشخیص چهره بسیار سریعتر و قابل اعتماد تر خواهد بود.
سیتم های فوکوس اتوماتیک امروزه بطور فوقالعاده ای در حال بهتر شدن هستند اما اگر با این تراشه خیلی سریع پشتیبانی میشدند میتوانستند خیلی بهتر از این باشند.
برای دوربین های ۳۶۰ درجه هم برای اینکه توانایی ردیابی اشیا قابل اعتمادتری داشته باشیم متادیتا به بازسازی تصاویر کمک میکند.

این تراشه جدید لزوما خروجی تصویر ندارد میتواند فقط یک توصیف از چیزی که میبیند ارائه دهد.

(همانطور که در تصویر میبینید در حالت متادیتا به جای ذخیره تصویر نوشته سگ ذخیره شده است .)

چرا ما به AI روی تراشه نیازمندیم ؟؟

دو انگیزه اصلی برای قراردان قابلیت AI به طورمستقیم روی تراشه ها وجود دارد.

اول اینکه پردازش را خیلی سریعتر میکند. SONY IMX500  قادر است تا توانایی های خودرا با سرعت یک فریم ویدئو نشان دهد به جای اینکه مجبور باشد بوسیله معماری PIPELINE  برای پردازش به جای دیگری ارسال کند.

مزیت دوم آن امنیت بالاتر است . اطلاعات از طریق فضای ابری برای واحد AI آنالیز تصویر ارسال میشود داشتن این سیستم بر روی تراشه پتانسیل وجود حفره امنیتی را از بین میرد.

فضای ابری AI نمیتواند به صورت offline  استفاده شود ، علاوه بر این قابلیت اجرای آنالیزهای تصویری رو به فقط در حالت همزمان محدود میکند. همچنین هزینه و انرژی را برای کامپیوتر های سرور ابری افزایش میدهد که این برای محیط زیست خوب نیست .

برای دوربین های کوچک مثل GOPRO  ، برای این دسته پردازش ها نیازی به وجود یک تراشه دیگر در دوربین نیست واین به حفظ انرژی کمک میکند و همچنین این به این معناست که تراشه اصلی پردازنده دوربین و حافظه آزاد هستند تا بقیه پردازش ها را انجام بدهند و این به پایداری الکترونیکی بیشتر و پردازش بهتر رنگها کمک میکند.

یک مثال از ردیابی همزمان در پیشخوان فروشگاه : توجه کنید چقدر به خوبی حرکات اعضای بدن فروشنده ها را ردیابی میکند .

فقط با تصور شما محدود میشود :

یکی از توانایی های این تراشه جدید ، اینست که میتواند توسط توسعه دهندگان برنامه‌ریزی شوند تا دقیقا همان چیزی را که نیاز دارند انجام دهند،که فقط با تصورات شما محدود میشوند .

سونی از یک ماشین برای مثال استفاده میکند تا نشان دهد این چطور کار میکند ، راننده را شناسایی میکند و جایگاه صندلی اتومبیل را به طور خودکار تنظیم میکند.یک مثال دیگر اینکه قادر است تشخیص دهد که راننده به خواب رفته است یا خیر.برای دوربین های ورزشی ممکن است دستگاه میتواند فرم حرکت را در طول برنامه تشخیص بدهد. اگر می‌خواهید به عنوان مثال، یوگا و یا ورزش‌های رزمی خود را بهبود بخشید می‌تواند با مقایسه شما با یک مثال “کامل” به شناسایی مناطق کمک کند. تشخیص گفتار از حرکات لب نیز می‌تواند بسیار سریع‌تر انجام شود واین شامل همه دوربین ها میشود.برای کسانی که فیلم میسازند،این می‌تواند پتانسیل عظیمی داشته باشد که همزمان با اینکه فیلمبرداری انجام میشود بتواند تصاویر را واقعه نگاری کند یا خروجی حرکات بازیگران رو به نوشته تبدیل کند و از فیلمنامه آنها را تشخیص بدهد.

IMX500  تراشه با ظرفیت بالا در ارائه یک تصویر خام از پرسپکتیو ویدئو عمل میکند و ظرفیت ارائه یک تصویر با رزولوشن ۴K تا ۶۰ فریم بر ثانیه و رزولوشن ۱۰۸۰P تا ۲۴۰ فریم بر ثانیه را داراست.اگرچه برای یک تصویر full frame  با حداکثر ۳۰ فریم بر ثانیه محدود میشود .

همه آنچه گفته شد درحالی است فقط اولین نسخه از تراشه است و انتظار میرود که به مرور زمان این ظرفیت در تمام تراشه ها به کاررود و یک توسعه قابل توجه خواهد بود که ارزش پوشش را دارد.

در این مقاله سعی شد تا به صورت مختصر و مفید راجع به سنسورهای پردازشگر AI توضیح داده شود و در این راستا دو سنسور سونی  وتوانایی ها یشان مفصلا مورد بررسی قرار گرفت.

پاورقی:

[۱] هوش مصنوعی: AI : Artificial Intelligence

[2]  complementary Metal-Oxide Semiconductor به طورکلی ایمیج سنسور ها به دو دسته CMOS  و CCD  دسته بندی میشوند که CMOS ها جدیدتر و با کیفیت تر هستند .

[۳] Metadate معادل فارسی آن فرا داده یا ابرداده میشود ولی از آنجایی که در آینده نه چندان دور این کلمه بسیار به گوش شما خواهد خورد تصیمیم گرفتم عینا این کلمه را به صورت متادیتا به کار ببرم به طور کلی به حجم بزرگی ازداده های خلاصه شده کاربردی متادیتا گفته میشود.

[۴] Digital Signal Processor میکرو پردازنده های قابل برنامه نویسی هستند که وظیفه اصلی آنها پردازش سیگنال درفرکانس های بسیار بالاست .

[۵] PIPELINE نوعی از معماری کامپیوتر جدید به کار رفته در اکثر تراشه های جدید که بنظرم اصلا معادل فارسی قابلیت رساندن منظور را در مورد این لغت ندارد.

کارابان وب
نویسنده

مطالب مرتبط

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *