پیاده سازی مقاله انتخاب ویژگی با نظریه بازی ها

انتخاب ویژگی گام پیش پردازشی مهمی در یادگیری ماشین و بازشناسی الگو است. در سالهای اخیر، معیارهای گوناگون براساس تئوری اطلاعات پیشنهاد شده اند تا ویژگی های نامرتبط و افزونه را تا حد ممکن از مجموعه داده های با ابعاد بالا حذف نمایند. یکی از معایب روشهای انتخاب ویژگی فیلتر موجود، این است که آنها اغلب تعدادی از ویژگی ها را نادیده می گیرند که توانایی جداپذیری بالایی دارند هنگامی که یک گروه هستند اما هنگامی که بصورت منحصربفرد بکار می روند ضعیف هستند. در این کار، چارچوب جدیدی را برای ارزیابی ویژگی و وزندهی پیشنهاد می کنیم تا کارایی انتخاب ویژگی را بهینه نماید. چارچوب در ابتدا متد تئوری cooperative game براساس مقدار Shapley را معرفی می نماید تا وزن هر ویژگی را براساس با تاثیرش به رابطه متقابل پیچیده و ذاتی (intricate and intrinsic interrelation) میان ویژگی ها تعیین نماید و سپس ویژگی های وزندار را برای الگوریتم انتخاب ویژگی فراهم می نماید. همچنین یک رویه انتخاب ویژگی انعطاف پذیر را ارائه می نماییم که می توان هر معیار اطلاعاتی را با چارچوبمان بکار برد. با بررسی تاثیر روشمان، مقایسه های آزمایشگاهی روی مجموعه دادههای UCI با استفاده از دو نمونه دسته بند انجام می شود. نتایج نشان می دهد که روش پیشنهادی بهبوده امیدوارکننده ای روی انتخاب ویژگی و دقت دسته بندی بدست می آورد.

Feature selection is an important preprocessing step in machine learning and pattern recognition. Recent years, various information theoretic based measurements have been proposed to remove redundant and irrelevant features from high-dimensional data set as many as possible. One of the main disadvantages of existing filter feature selection methods is that they often ignore some features which have strong discriminatory power as a group but are weak as individuals. In this work, we propose a new framework for feature evaluation and weighting to optimize the performance of feature selection. The framework first introduces a cooperative game theoretic method based on Shapley value to evaluate the weight of each feature according to its influence to the intricate and intrinsic interrelation among features, and then provides the weighted features to feature selection algorithm. We also present a flexible feature selection scheme to employ any information criterion to our framework. To verify the effectiveness of our method, experimental comparisons on a set of UCI data sets are carried out using two typical classifiers. The results show that the proposed method achieves promising improvement on feature selection and classification accuracy.

clc;

clear;

close all;

دستور1: پاک کردن پنجره Command

دستور2: پاک کردن حافطه از متغیرهای داخل workspace

دستور3: در صورت باز بودن شکلهای در متلب آنها را بسته

alpha=0.2;

omega=3;

step=1;

MaxFeature=30;

k_fold=10;

MaxEpoch=3;

متغیرهای مربوط به مسئله هستند که با مقادیر اولیه ذکر شده در مقاله مقداردهی شده اند

Alpha: ضریب بکار رفته در رابطه 13

Omega: حداکثر طول زیرمجموعه ها

Step: اندازه گام برای رسم نمودار

MaxFeature: حداکثر طول زیرمجموعه

K_fold: تعداد پارتیشن ها است

MaxEpoch: تعداد اجراهای مستقل الگوریتم

load(‘Musk2’)