شبکه‌ های عصبی با الهام از ساختار مغز، فراسوی عملکردهای انسانی می‌روند (قسمت چهارم)

شبکه‌ های عصبی با الهام از ساختار مغز، فراسوی عملکردهای انسانی می‌روند (قسمت چهارم)

شبکه‌های عصبی با وجود پیشرفت‌های چشمگیری که در سال‌های اخیر داشته، همچنان دارای محدودیت‌هایی است.

محدودیت‌های شبکه های عصبی

یادگیری عمیق در سال‌های اخیر پیشرفت چشمگیری داشته و حتی در بسیاری از کارها مانند طبقه‌بندی تصویر از انسان پیشی گرفته است. به طور مشابه، موفقیت یادگیری تقویتی برای نشان دادن عملکرد فراانسانی در برخی از بازی‌ها که نیاز به برنامه‌ریزی متوالی دارند، بسیار خارق‌العاده بوده است. بنابراین مطرح کردن آن هوش مصنوعی که سرانجام بتواند به توانایی‌های انسان نزدیک شده یا حتی فراتر از آن رود، وسوسه‌انگیز است. با این وجود چند مشکل اساسی فنی وجود دارد که باید از آن‌ها عبور کرد، قبل از اینکه بتوانیم ماشین‌هایی بسازیم که مثل مردم یاد بگیرند و فکر کنند. به طور خاص، شبکه‌های عصبی برای ارائه نتایج با کیفیت بالا، به داده های آموزشی زیادی نیاز دارند که به طور قابل توجهی، پایین‌تر از توانایی‌های انسانی است. علاوه بر این، مقدار انرژی مورد نیاز توسط شبکه های عصبی برای کارهای مختلف، بسیار فراتر از چیزی است که انسان برای انجام کارهای مشابه مصرف می‌کند. این مشاهدات، محدودیت‌های اساسی را در توانایی شبکه های عصبی برای آنکه در پارامترهای خاصی از عملکرد انسان فراتر بروند، نشان می‌دهد.

یادگیری تک مرحله‌ای

اگرچه یادگیری عمیق به دلیل موفقیت در وظایف یادگیری بزرگ‌مقیاس (در مقایسه با عملکرد متوسط در سال‌های اولیه روی مجموعه داد‌ه‌های کوچک‌تر)، در سال‌های اخیر مورد توجه بیشتری قرار گرفته، اما این امر، یک ضعف مهم در فناوری یادگیری عمیق فعلی را نیز نشان می دهد. یادگیری عمیق وظایفی مانند طبقه‌بندی تصویر (که از عملکرد انسان فراتر رفته) را به شیوه‌ی ناکارآمد نمونه انجام داده است. به عنوان مثال، پایگاه داده‌‌ی ImageNet حاوی بیش از یک میلیون تصویر است و یک شبکه عصبی اغلب به هزاران نمونه از یک دسته به منظور طبقه‌بندی صحیح آن احتیاج خواهد داشت. انسان‌ها برای یادگیری کامیون، به ده‌هاهزار تصویر کامیون نیاز ندارند. اگر یک کامیون، یک بار به یک کودک نشان داده شود، او اغلب قادر خواهد بود کامیون دیگری را حتی با کمی تفاوت در مدل، شکل و رنگ تشخیص دهد. این امر نشان می‌دهد که انسان‌ها در مقایسه با شبکه های عصبی مصنوعی، توانایی بسیار بهتری برای تعمیم تنظیمات جدید دارند. اصل کلیِ قادر به یادگیری بودن، فقط از یک یا چند نمونه‌، یادگیری تک‌مرحله‌ای (one-shot learning) نامیده می‌شود.

توانایی انسان در تعمیم دادن با نمونه‌های کمتر، تعجب‌آور نیست، زیرا اتصال نورون‌ها در مغز انسان نسبتاً پراکنده است و با دقت توسط طبیعت طراحی شده است. این معماری در طول میلیون‌ها سال تکامل یافته و از نسلی به نسل دیگر رسیده است. به معنایی غیرمستقیم، ساختار ارتباط عصبی انسان، نوعی دانش بدست آمده از تجربه تکامل طی میلیون‌ها سال را کدگذاری می‌کند. علاوه بر این، انسان‌ها همچنین در طول عمرشان، در مورد وظایف مختلف، دانش کسب می‌کنند که به آن‌ها کمک می‌کند وظایف خاص را سریع‌تر یاد بگیرند. به عبارت دیگر انسان‌ها، استادان انتقال یادگیری در نسل های مختلف هم هستند.

توسعه شکل‌های عمومی یادگیری انتقال، به طوری که زمان صرف شده برای آموزش وظایف خاص، دور انداخته نشود، بلکه مجدداً مورد استفاده قرار بگیرد، بخش اصلی تحقیقات آینده است. در حد محدود، مزایای یادگیری انتقال قبلاً در یادگیری عمیق ثابت شده است. شبکه های عصبی حلقوی مانند AlexNet، اغلب در مخازن تصویری بزرگ مانند ImageNet از قبل آموزش داده می‌شوند. پس از آن، هنگامی که شبکه عصبی باید به یک مجموعه داده‌ی جدید اعمال شود، اوزان می‌توانند با مجموعه‌ داده‌ی جدید تنظیم شوند. اغلب، تعداد بسیار کمی از نمونه‌ها برای این تنظیم دقیق مورد نیاز است، زیرا بیشتر ویژگی‌های اساسی آموخته شده در لایه‌های قبلی، با مجموعه دادهي در دسترس تغییر نمی‌کند. دربسیاری از موارد، ویژگی‌های آموخته شده را نیز می‌توان با حذف شبکه یا لایه‌های بعدی و افزودن لایه‌های اضافی با کارکرد ویژه تعمیم داد. این اصل کلی در استخراج متن نیز مورد استفاده قرار می‌گیرد. برای مثال، بسیاری از مدل‌های یادگیری ویژگی متن، مانند word2vec در طول بسیاری از وظایف مربوط به استخراج متن، مورد استفاده مجدد قرار می‌گیرند، حتی وقتی آن‌ها از قبل به صورت‌های مختلفی آموزش دیده باشند. به طور کلی، انتقال دانش می‌تواند به صورت ویژگی‌های استخراج شده، پارامترهای مدل یا سایر اطلاعات زمینه‌ای باشد.

شکل دیگری از یادگیری انتقال وجود دارد که مبتنی بر مفهوم یادگیری وظایف سراسری است. ایده اصلی این است که همیشه از کارهای آموزشی که قبلاً به طور کامل یا جزئی در یک وظیفه انجام شده است، به منظور بهبود توانایی‌اش در یادگیری یک وظیفه دیگر استفاده مجدد کنید. این اصل، یادگیری برای یادگیری (learning-to-learn) نامیده می‌شود که محققان آن را به این صورت تعریف می‌کنند: با درنظر گرفتن یک خانواده از وظایف، یک تجربه آموزشی برای هر وظیفه و یک خانواده از معیارهای عملکردی (یکی برای هر وظیفه)، یک الگوریتم به شرطی یادگیری برای یادگیری نامیده می‌شود که عملکردش در هر وظیفه، هم با تجربه و هم با تعداد وظایف بهبود یابد. مهم‌ترین نکته در دشواری «یادگیری برای یادگیری»، این حقیقت است که وظایف همه تا حدودی با هم تفاوت دارند و بنابراین انتقال تجربه بین وظایف را به چالش می‌کشد. بنابراین، یادگیری سریع در یک وظیفه اتفاق می‌افتد، در حالیکه یادگیری، با دانش به تدریج بدست آمده در طی وظایف، هدایت می‌شود که شیوه‌ای که ساختار وظیفه در حوزه‌های هدف، تغییر می‌کند را ضبط می‌کند. به عبارت دیگر، یک سازمان دو لایه برای چگونگی یادگیری وظایف وجود دارد. از این مفهوم، به عنوان فرایادگیری (meta-learning) نیز یاد می‌شود، گرچه این اصطلاح بیش از حد به کاررفته و در چند مفهوم دیگر در یادگیری ماشین مورد استفاده قرار می‌گیرد. توانایی یادگیری برای یادگیری، یک کیفیت زیستی منحصر بفرد است که موجودات زنده تمایل به نشان دادن عملکرد بهتر، حتی در وظایفی که خیلی مرتبط نیستند، دارند، زیرا آن‌ها تجربه بیشتری در سایر وظایف بدست می‌آورند. در سطح ضعیف، حتی آموزش قبلی شبکه‌ها، نمونه‌ای از یادگیری برای یادگیری است، زیرا می‌توانیم از اوزان شبکه‌ای که برای یک وظیفه خاص و با یک مجموعه داده‌ی ویژه آموزش دیده، استفاده کنیم، به گونه‌ای که یادگیری در محیط جدید به سرعت رخ دهد. به عنوان مثال، در یک شبکه عصبی پیچشی، ویژگی‌ها در بسیاری از لایه‌های اولیه، اشکال بدوی (مثلا لبه‌ها) هستند و قابلیت استفاده‌ی خود را صرف نظر از نوع وظیفه و مجموعه داده‌هایی که روی آن‌ها اعمال شده، حفظ می‌کنند. از طرف دیگر، لایه نهایی می‌تواند کاملاً خاص باشد. با این حال، آموزش یک لایه واحد، به داده‌های بسیار کمتری نسبت به کل شبکه نیاز دارد.

کار اولیه روی یادگیری تک‌ مرحله‌ای، از چارچوب های بیزی (Bayesian frameworks) برای انتقال دانش آموخته شده از یک گروه به گروه دیگر، استفاده کرد. موفقیت‌هایی در فرایادگیری با استفاده از معماری‌های ساختار‌یافته‌ای که از مفاهیم توجه، بازگشت و حافظه بهره می‌برند، نشان داده شده است. به طور خاص، نتایج خوبی در مورد وظیفه یادگیری در بین دسته‌ها با ماشین‌های تورینگ عصبی نشان داده شده است. مدت‌هاست توانایی شبکه‌‌های تقویت حافظه برای آموختن از داده‌های محدود شناخته شده است. به عنوان مثال، ثابت شده حتی شبکه‌هایی با حافظه داخلی مانند LSTM، عملکرد چشمگیری برای یادگیری توابع درجه‌ دومی که قبلاً دیده نشده‌اند، با تعداد کمی نمونه، نشان می‌دهند. ماشین تورینگ عصبی، از این نظر یک معماری بهتر است و پژوهش‌ها نشان می‌دهند که چگونه می‌توان از آن برای فرایادگیری استفاده کرد. ماشین‌های تورینگ عصبی همچنین برای ساخت شبکه‌های انطباقی برای یادگیری تک مرحله‌ای استفاده شده‌اند. حتی با وجود اینکه، پژوهش‌ها حاکی از پیشرفت‌ توانایی‌های یادگیری تک مرحله‌ای هستند، اما قابلیت‌های آن‌ها در مقایسه با انسان هنوز هم کاملاً ابتدایی هستند. بنابراین، این موضوع همچنان حوزه‌ی بازی برای تحقیقات آینده باقی مانده است.
 


ادامه دارد...

كلمات كليدي :
شبکه های عصبی
 
امتیاز دهی
 
 

نظر شما
نام  
پست الكترونيک
وب سایت
متنی که در تصویر می بینید عینا تایپ نمایید
نظر
login