هوش مصنوعی گوگل انتشار Model Search را اعلام کرده است ، بستری که به محققان در توسعه مدل های یادگیری ماشین (ML) به صورت خودکار و کارآمد کمک می کند. طبق اخبار هوش مصنوعی منتشر شده در سایت هوشیو، جستجوی مدل خاص دامنه ، انعطاف پذیر و مناسب برای یافتن معماری مناسب متناسب با مجموعه داده و مسئله مشخص نیست. در عین حال ، زمان کدگذاری ، تلاش و منابع را به حداقل می رساند. جستجوی مدل بر اساس Tensorflow ساخته شده است و می تواند بر روی هر دو تنظیمات توزیع شده یا یک ماشین اجرا شود.
موفقیت شبکه های عصبی اغلب به میزان تعمیم آنها در کارهای مختلف بستگی دارد. طراحی شبکه های عصبی که بتواند تعمیم دهد و درک جامعه پژوهش از این مفهوم محدود باشد ، چالش برانگیز است. وقتی دامنه های یادگیری ماشین در نظر گرفته می شوند محدودیت ها پیچیده می شوند. تکنیک هایی مانند جستجوی معماری عصبی (NAS) از الگوریتم ها ، یادگیری تقویت (RL) ، الگوریتم های تکاملی و جستجوی ترکیبی برای ایجاد یک شبکه عصبی از یک فضای جستجوی معین استفاده می کنند. اگرچه این تکنیک ها می توانند نتیجه بهتری نسبت به نمونه های دستی خود داشته باشند ، این الگوریتم ها معمولاً زیاد محاسبه می شوند و قبل از همگرایی به هزاران مدل برای آموزش نیاز دارند و خاص دامنه هستند.
با استفاده از جستجوی مدل می توان این کمبودها را برطرف کرد. سیستم جستجوی مدل از چندین مربی ، یک الگوریتم جستجو و یک پایگاه داده برای ذخیره مدل های ارزیابی شده ساخته شده است. این سیستم می تواند هر دو آزمایش آموزش و ارزیابی را به روشی انطباقی و در عین حال ناهمگن اجرا کند. هر مربی به تنهایی آزمایش هایی را انجام می دهد و همه مربیان دانش خود را از آزمایشات خود به اشتراک می گذارند. در شروع هر چرخه ، الگوریتم جستجو تمام آزمایشات تکمیل شده را مرور می کند و سپس با استفاده از جستجوی پرتو ، تعیین می کند که بعد چه چیزی را امتحان کنید. سپس از یکی از بهترین معماری هایی که پیدا کرده جهش می کند و مدل حاصل را به یک مربی اختصاص می دهد.
شبکه عصبی از مجموعه بلوک های از پیش تعریف شده ساخته شده است. این روش کارآمدتر است زیرا فقط ساختارها و نه اجزای اساسی و جزئی آنها را کاوش می کند ، بنابراین مقیاس فضای جستجو را کاهش می دهد. همانطور که چارچوب بر روی Tensorflow ساخته شده است ، بلوک ها می توانند هر تابعی را که یک تنسور به عنوان ورودی می گیرد ، پیاده سازی کنند. علاوه بر این ، بلوک های ارائه شده می توانند شبکه های عصبی کاملاً مشخص شده ای باشند که از قبل شناخته شده اند و برای این مشکل کار می کنند. در این حالت ، جستجوی مدل می تواند به گونه ای پیکربندی شود که به عنوان یک ماشین مجموعه قدرتمند عمل کند. الگوریتم های جستجوی مورد استفاده در جستجوی مدل تطبیقی ، حریصانه و افزایشی هستند و باعث می شوند سریعتر از الگوریتم های RL همگرا شوند.
برای بهبود کارایی و دقت ، جستجوی مدل امکان یادگیری انتقال را بین آزمایش های مختلف داخلی به دو روش تقسیم دانش یا تقسیم وزن امکان پذیر می کند. تقطیر دانش با افزودن یک اصطلاح ضرر که علاوه بر حقیقت اساسی ، با پیش بینی های مدل های با عملکرد بالا مطابقت دارد ، می تواند صحت و سقم داوطلبان را بهبود بخشد. در مقابل ، به اشتراک گذاری وزن برخی از پارامترهای شبکه را از نامزدهای قبلی آموزش دیده با کپی کردن وزنه های مناسب از مدلهای یکبار آموزش دیده و مقادیر اولیه باقی مانده ، به صورت تصادفی تنظیم می کند.
محققان ادعا می کنند که جستجوی مدل با کمترین تکرار مدل های تولید را بهبود می بخشد. آنها با کشف مدلی برای لکه بینی کلمات کلیدی و شناسایی زبان ، قابلیت های جستجوی مدل را در حوزه گفتار به تصویر کشیدند. کمتر از 200 تکرار استفاده کرد و مشخص شد که باعث بهبود کارایی می شود. محققان همچنین از جستجوی مدل برای یافتن معماری مناسب برای طبقه بندی تصویر در مجموعه داده های تصویربرداری CIFAR-10 که به شدت کاوش شده است ، استفاده کردند. آنها مشاهده کردند که به سرعت توانستند در فقط 209 آزمایش در مقایسه با 5807 آزمایش برای الگوریتم RL به دقت معیار 91.83 برسند.
کد جستجوی مدل با هدف ارائه چارچوبی انعطاف پذیر ، دامنه-اگنوستیک برای کشف مدل ML به محققان ارائه می شود. این چارچوب برای ساخت مدل هایی با عملکرد پیشرفته در مورد مشکلات شناخته شده هنگامی که فضای جستجو متشکل از بلوک های ساختمانی استاندارد فراهم شود ، از قدرت کافی برخوردار است. این کد دسترسی به راه حلهای AutoML را برای جامعه تحقیقاتی که همیشه شکوفا هستند گسترش می دهد.
