آموزش متن کاوی با استفاده از پکیج text mining در زبان برنامه نویسی پایتون

یکی از چالش های اساسی که امروزه حوزه ای تی و بخصوص شرکت های بزرگی مانند گوگل با آن روبه رو هستند، چالش نحوه آنالیز مجموعه متون موجود در وب می باشد. یکی از روش هایی که با استفاده از آن می توان داده های متنی را مورد کاووش و آنالیز قرار داد، متن کاوی (text mining) می باشد.

متن کاوی به دنبال استخراج دانش نهفته شده در دل مجموعه داده های متنی نیز می باشد. تفاوت متن کاوی و داده کاوی در نوع داده های ورودی آن ها می باشد، متن کاوی  با داده های ناساختاریافته مانند فایل های txt سروکار دارد در حالی که داده کاوی با داده های ساختار یافته مانند فایل های دیتابیس سروکار دارد. ابزارهای زیادی برای انجام عملیات متن کاوی وجود دارد مانند RapidMiner، Python Text mining و …

در این ویدیو آموزشی ما نحوه آنالیز مجموعه ای از داده های متنی را با استفاده از پکیج text mining در زبان برنامه نویسی پایتون را آموزش خواهیم داد. این آموزش شامل:

۱- تعریف متن کاوی و ویژگی های آن

۲- معرفی ابزار text mining pakage در پایتون

۳- آشنایی تئوری و عملی Stemming ، Lematisation، StopWords، Edid distance، Term document Matrix و Tokanization در پایتون