وبلاگ

و بیان مسئله

 

امروزه رایانه در تمام لایه‏های زندگی بشر نفوذ کرده است. بطوریکه استفاده از فناوری رایانه در حوزه زبان‏شناسی، بیش از پیش احساس می‏شود. «پردازش زبان طبیعی»شاخه‏ای از علم «هوش مصنوعی» است كه به ماشینی كردن فرایند زبان شناسی سنتی می‏پردازد. به این ترتیب با بهره گرفتن از رایانه می‏توان «زبان گفتاری ونوشتاری» را پردازش نمود، به طوریکه رایانه‏ها نیز قادر باشند زبان انسان را درک کرده و بتوانند از زبان طبیعی به عنوان ورودی وخروجی استفاده كند. به این ترتیب یک رایانه، درهنگام دریافت ورودی، نیاز به «درک» و درهنگام ارسال خروجی، نیاز به «تولید» زبان طبیعی دارد. ]81[

 

در زمینه پردازش زبان طبیعی پژوهش‏هایی مانند طبقه‏بندی متون، برچسب‏گذاری ادات سخن، تعیین و ابهام‏زدایی از معانی واژگان و… انجام شده است که تنها بر روی یک حوزه خاص تمرکز داشته‏اند و در نتیجه راه حل‏هایی جزئی در راستای اهداف کلی پردازش زبان طبیعی محسوب می‏‏‏شوند. تمامی این حوزه‏های جزئی باید حل شوند تا در نهایت رایانه بتواند همانند انسان واژگان و جملات را پردازش کرده و یا آنها را بسازد.                

 

وظایف زبان طبیعی را می‏توان به ریز کاربردها و کلان کاربردها افراز نمود. به طور کلی تا کنون تحقیقات انجام شده بیشتر بر روی پردازش‏هایی در سطح واژه و یا جمله (مانند برچسب گذاری ادات سخن، ابهام زدائی از مفهوم واژگان، شناسایی موجودیت‏های نامدار و … ) و یا در سطح کل متن (تشخیص هرزنامه، رده بندی متون و…) متمرکز شده اند؛ برخی از کاربرد‏ها نیز مانند استخراج اطلاعات، تشخیص مرجع مشترک و ماشین ترجمه در سطح بینابین قرار گرفته‏اند. ]27[بدیهی است که در توسعه یک کاربرد سطح بالاتر همانند تعیین ویژگی‏های معنایی متون، انواع متفاوتی از ویژگی‏های سطح پایین‏تر (مانند ویژگی‏های لغوی و نحوی) نیز لازم است، اما به لطف سیستم‏های جدید که تا حد زیادی به روش‏های آماری یادگیری ماشین بستگی دارند، دیگر در آنها، به تمامی‏‏‏ ویژگی‏های سطح پایین‏تر نیازی نیست. علت اینکه روش‏های یادگیری ماشین توانسته‏اند با وجود سادگی، به موفقیت قابل توجهی دست یابند این است که اطلاعات آماری پایه، دانشی را فراهم می‏آورد که برای بسیاری از کاربرد‏ها کافی بوده و می‏‏‏‏تواند به کارائی قابل توجهی منجر شود. با این وجود، باید توجه داشت که روش‏های آماری محدود است و هرگز نمی‏توانند درک کاملی از محتوای معانی یک متن را فراهم آورند.

 

از طرفی دیگر، با فراهم شدن اطلاعات و قدرت محاسباتی بیشتر، سیستم‏‏هایی که واژگان و جملات درست را از غلط تشخیص می‏دهند، به طور گسترده‏ای در حال توسعه هستند. به عنوان مثال، در زبان انگلیسی برچسب گذاری ادات سخن به صحتی برابر با ۹۸%، شیوه‏های تجزیه کردن به صحتی برابر با ۹۰%، و شناسایی موجودیت‏های نامدار به صحت ۹۱% رسیده اند. [78,55,38[.

 

بسیاری از پژوهشگران معتقدند كه استخراج اطلاعات به عنوان یکی از مهمترین کاربردهای پردازش زبان طبیعی محسوب می‏شود، که مجموعه‏ای از تکنیک‏های رده‏بندی، خوشه‏بندی و قوانین وابستگی است و خروجی استخراج اطلاعات شامل، شناسایی موجودیت‏ها ، تعیین نوع وگروه آنها، طبقه بندی ارتباط میان موجودیت‏ها و همچنین استخراج رویدادهایی كه در آن مشاركت دارند، می‏باشد.[71[ در نهایت می‏توان گفت كه خلاصه سازی، بازیابی اطلاعات، داده‏كاوی، پرسش و پاسخ و درك زبان از جمله كاربردهای این سیستم هستند.

 

تمرکز اصلی این پژوهش بررسی فرایند تشخیص مرجع مشترک به عنوان یکی از فرایندهای مهم استخراج اطلاعات است؛ در تشخیص مرجع مشترک تمام عبارت‏های اسمی‏‏‏ که به یک موجودیت واحد در دنیای واقعی اشاره دارند، تعیین می‏گردند. هدف نهایی این پایان‏ نامه شناسایی اشاره‏های هم مرجع شامل ضمیر و اسم اشاره در متون پارسی می‏باشد. برای تحقق این هدف نیاز به انجام پیش پردازش‏هایی بر روی متون خام می‏باشد تا داده‏های مورد نیاز برای ورود به فرایند تحلیل مرجع مشترک فراهم شوند. فرض ما بر این است که خروجی حاصل از فرایند کشف اشاره به عنوان یک پیش پردازش می‏تواند در کنار سایر پیمانه‏های پیش پردازشی مانند تجزیه‏گر، شناسایی موجودیت‏های نامدار و… بر بهبود عملکرد تحلیل مرجع مشترک موثر واقع شود. [23،38،53،83]

 

به هر ترتیب شناسایی عبارت‏های اسمی‏‏‏ هم‏مرجع از مهمترین زیر وظایف استخراج اطلاعات می‏باشند که بهبود عملکرد آن موجب بهبود عملکرد کلی سیستم استخراج اطلاعات و سایر سیستم‏های مرتبط با آن خواهد شد.

 

واحد مورد بررسی در حوزه تشخیص مرجع مشترک، متن می باشد که پس از اجرای ماژول‏هایی متفاوت، متن مورد نظر به عبارت های اسمی یا به عبارت بهتر به اشاره تبدیل می‏شود. روش‏های موجود در این حوزه، به دو دسته روش‏های زبان‏شناسی و روش‏های یادگیری ماشین تقسیم می‏‏‏شوند. [76[ در روش اول، ابتدا به ازای هر عبارت اسمی‏‏، مراجع کاندیدا تعیین می‏‏‏شود و سپس با به کارگیری مجموعه‏ای از قواعد زبان‏شناسی، برخی از کاندیداها حذف شده و کاندیداهای باقیمانده نیز امتیازدهی می‏‏‏شوند و در‏نهایت کاندیدایی به عنوان مرجع برگزیده می‏‏‏شود که بیشترین امتیاز را کسب کرده باشد. مسئله اصلی در این روش این است که کسب اطلاعات زبان‏شناسی مورد نیاز، فرایندی زمان‏بر، پرهزینه و پر خطاست. البته با پیدایش پیکره‏های زبان‏شناسی و موفقیت روش‏های یادگیری ماشین در سایر حوزه‏ها، روش‏های زبان‏شناسی جای خود را به روش‏های یادگیری ماشین دادند. در یادگیری ماشین، به محاسبات زبان‏شناسی پیچیده و سطح بالای روش‏های زبان‏شناسی نیاز نیست به طوریکه با بهره گرفتن از دانش اندکی در زمینه زبان‏شناسی نیز می‏توان به نتایج خوب و قابل توجهی دست یافت.

 

از سوی دیگر، امروزه اغلب پژوهشگران فرایند تشخیص مرجع مشترک را به دو مرحله تقسیم می‏‏‏ کنند. (۱) کشف و شناسایی اشاره؛ برای شناسایی عبارت‏های اسمی‏‏‏ که به موجودیت ها در دنیای واقعی اشاره دارند، (۲) شناسائی اشاره‏هایی که به یک مرجع واحد اشاره دارند. به این ترتیب در مرحله اول، اکثر عبارت‏های اسمی‏‏‏ تحت عنوان اشاره و در قالب چهار گروه اصلی ضمایر، اسامی‏‏‏ خاص، اسامی‏‏‏ عام و غیر اشاره‏ها قرار می‏گیرند،[8،910،16،48،53،72] سپس این فرایند مشخص می‏‏‏‌کند که هر اشاره به کدام موجودیت در دنیای واقعی اختصاص دار[26]می‏‏‏توان گفت که فرایند کشف اشاره، توسعه یافته‏ی فرایند شناسایی موجودیت‏های نامدار می‏باشد که علاوه بر شناسایی اسامی‏‏‏ خاص، به شناسایی اسامی‏‏‏ عام و ضمایر نیز می‏پردازد. [،23،72،81،113،114]از آنجائیکه بررسی فرایند‏های شناسایی اشاره و تحلیل مرجع مشترک به طور همزمان خارج از حوزه‏ی این پایان‏ نامه است، ما عبارت‏های اسمی‏‏‏ را در قالب انواع اشاره‏های گفته شده در پیکره‏ای تحت عنوان لوتوس برچسب‏گذاری می‏نمائیم و نتیجه‏ی آن را برای تحلیل مرجع مشترک به کار خواهیم برد.

 

چارچوب کلی این پایان‏ نامه به این صورت می‏باشد: در بخش دوم این فصل گذری کوتاه بر انواع روابط میان دو عبارت اسمی‏‏‏ و به خصوص ارتباط‏های هم‏مرجعی خواهیم داشت. سپس در بخش اول فصل دوم، روش‏های ارائه شده برای تشخیص مرجع مشترک را مورد بررسی و مطالعه قرار می‏دهیم و در بخش دوم آن، به نحوه ایجاد پیکره‏ای مناسب برای کشف اشاره و تحلیل مرجع مشترک خواهیم پرداخت. در فصل سوم، به الگوریتم‏های مناسب برای این پایان‏ نامه را معرفی می نمائیم. سیستم پیشهنادی برای شناسایی اشاره‏های ارجاع شده در فصل چهارم معرفی خواهد شد و همچنین در این فصل الگوریتم‏های یادشده را مورد ارزیابی قرار می‏دهیم. در نهایت در فصل پنجم نیز به نتیجه گیری و پیشنهاد كارهای آتی در ادامه‏ی این پژوهش خواهیم پرداخت.

 

1-2.بررسی ارتباط هم ‏مرجعی

 

 

 

یکی از ‏ویژگی‏های خاص گفتمان این است که می‏توان در یک متن آزادانه در مورد یک یا چند موجودیت صحبت کرد و برای اشاره به هر موجودیت از انواع مختلف عبارت‏ها مانند ضمیر (او)، اسم عام (دانشمند)، اسم خاص (لطفعلی عسگر زاده) و یا یک عبارت اسمی‏(بنیان‏گذار منطق فازی) بهره برد تا به این ترتیب از تکرار عبارت‏ها کاسته و شیوایی مطلب نیز افزایش یابد. همین ویژگی موجب می‏شود که زنجیره‏ها‏ی بالقوه‏ای از تمام عبارت‏های اسمی‏که به یک موجودیت واحد در متن ارجاع دارند، ایجاد گردد. (مانند: او، دانشمند، لطفعلی عسگر زاده، بنیان‏گذار منطق فازی که به شخص پرفسور زاده اشاره دارند).

 

یکی از اهداف مهم استخراج اطلاعات، شناسایی این زنجیره‏ها در متن است که در فرایند تحلیل مرجع‏مشترک انجام می‏پذیرد. برای شروع، مثال ۱ را در نظر بگیرید:

 

مثال۱: (سیستم آبیاری گلاب) ۱Ant, در روز سه شنبه رونمایی شد. (این سیستم)۱Ana, محصول اندیشه‏ی (دکتر سارا شکری)۲Ant, است. (او) Ana,2، ( یک پژوهشگر)Ana در (شرکت آبیاری لاله)۳ است.

 

اگر فرض کنیم که پیمانه‏های نشانه‏گذاری تا کشف اشاره به عنوان پیش پردازش‏هایی بر روی متن اجرا شوند، با اجرای این پیمانه‏ها، انواع عبارت‏های اسمی‏موجود در متن (سیستم آبیاری، این سیستم، دکتر سارا شکری، او، یک پژوهشگر و شرکت آبیاری لاله) تعیین و نشانه‏گذاری می‏شوند. سپس با اجرای پیمانه تشخیص مرجع‏مشترک، ارتباطات میان این عبارت‏ها و اطلاعات نهفته در مورد موجودیت‏های شرکت کننده در متن آشکار می‏شود. به عنوان نمونه، می‏دانیم «او» و «سارا شکری» (با اندیسِ۲) به یک فرد مشخص و همچنین «سیستم آبیاری گلاب» و «این سیستم» (با اندیسِ۱) نیز به یک سیستم مشخص اشاره می‏کنند.

 

استفاده از اصطلاح موجودیت در تحلیل مرجع‏مشترک، این سؤال را مطرح می‏کند که چه چیزهایی موجودیت محسوب می‏شوند؟ تاکنون گروه‏بندی‏های متعددی برای انواع موجودیت‏ها ارائه شده است، به عنوان نمونهACE، یک تقسیم بندی هفت موجودیتی برای انواع موجودیت‏ها (شخص، سازمان، مکان، سیاسی، تسهیلات، سلاح و خودرو) و تعداد زیادی زیرگروه (به عنوان مثال شخص: فرد، گروه) و کلاس برای هر موجودیت پیشنهاد کرده است و[۶۴] که اغلب پژوهشگران همه این موجودیت‏ها و یا گاهی اوقات برخی از آن‏ها را مورد مطالعه و بررسی قرار می‏دهند.

 

یکی از ‏ویژگی‏های تحلیل مرجع‏مشترک این است که علاوه بر انواع موجودیت‏های رایج، می‏توانیم در حوزه‏ها‏ی متفاوت از تعاریف پیش فرض خود نیز برای موجودیت‏ها نیز استفاده نماییم. همین ویژگی موجب شده است تا برخی از پژوهشگران مانند[97] به تحلیل مرجع‏مشترک در متون پزشکی پرداخته و بررسی موجودیت‏هایی مانند انواع دارو، بیماری، ژن وغیره را هدف پژوهش خود قرار دهند.

 

با توجه به آنچه تا‏کنون گفته شد، انتظار می‏رود که با بررسی مراجع مشترک در مثال ۱، عبارت «یک پژوهشگر» نیز به همراه «او» و «سارا شکری» در یک زنجیره واحد قرار گیرد، اما خروجی پیمانه تحلیل مرجع‏مشترک چنین نیست. هر چند از نظر ما این ارتباط کاملاً بدیهی است اما واقعیت این است که عبارت «یک پژوهشگر» به عنوان ارجاع به موجودیت شخص   (در مثال ۱: سارا شکری) که در دنیای واقعی زندگی می‏کند در نظر گرفته نمی‏شود، چون منظور از «یک پژوهشگر» می‏تواند هر شخص دیگری نیز باشد. در این حالت فرایند دیگری تحت عنوان تحلیل پیشایند می‏تواند ارتباط میان «یک پژوهشگر» و «سارا شکری» را تشخیص دهد.

 

همان طور که مشاهده شد، تحلیل مرجع‏مشترک و تحلیل پیشایند دو مفهوم نزدیک به هم می‏باشند به طوری که عموماً به موازات تحلیل مرجع‏مشترک، با تحلیل پیشایند روبرو می‏شویم و حتی برخی به اشتباه این دو عبارت را معادل یکدیگر می‏پندارند. با وجود اینکه این دو پیمانه از بسیاری از جهات با یکدیگر مشابه هستند، اما از جهاتی نیز با یکدیگر تفاوت دارند، و عدم توجه به این مسئله موجب سردرگمی‏و ایجاد ابهام در تحلیل متن می‏گردد.در این بخش، هدف ما بررسی هرکدام از این فرایند‏ها‏ و مطالعه برخی از شباهت‏ها‏ و تفاوت‏ها‏ی میان این دو فرایند می‏باشد.

 

[1] معادل پارسی عبارت انگلیسی Natural Language processing

 

[2] معادل پارسی عبارت انگلیسی Artificial Intelligence

 

[3] معادل پارسی عبارت انگلیسی Text classification

 

[4] معادل پارسی عبارت انگلیسی Part of speech tagging

 

[5] معادل پارسی عبارت انگلیسی Word sense disambiguation

 

[6] معادل پارسی عبارت انگلیسی Micro-task

 

[7] معادل پارسی عبارت انگلیسی Macro-task

 

[8] معادل پارسی عبارت انگیسی Named Entity Recognizers(NER)

 

[9] معادل پارسی عبارت انگیسی Spam Detection

 

[10] معادل پارسی عبارت انگیسی Information Extraction(IE)

 

[11] معادل پارسی عبارت انگیسی Coreference Resolution(CR)

 

[12] معادل پارسی عبارت انگیسی Machin Translation(MT)

 

[13] معادل پارسی واژه انگیسی Lexical

 

[14] معادل پارسی واژه انگیسی Syntactical

 

[15] معادل پارسی واژه انگیسی Parsing

 

[16] معادل پارسی واژه انگیسی Classification

 

[17] معادل پارسی واژه انگلیسی Clustering

 

[18] معادل پارسی عبارت انگلیسی Association pules

 

[19] معادل پارسی واژه انگلیسی Entity

 

[20] معادل پارسی عبارت انگلیسی Information Retrieval(IR)

 

[21] معادل پارسی عبارت اانگلیسی Data Mining

 

[22] معادل پارسی عبارت انگلیسی question/Answering

 

[23] معادل پارسی عبارت انگلیسی Text understanding

 

[24] معادل پارسی عبارت انگلیسی Mention Detection

 

[25] معادل پارسی واژه انگلیسی linguist

 

[26] معادل پارسی عبارت انگلیسی Machin Learning(ML)

 

[27] معادل پارسی واژه انگلیسی Corpus

 

[28] معادل پارسی واژه انگلیسی Entitiy

 

[29] هرآنچه كه به موجودیت خاص درمتن ارجاع داده شده است

 

[30] معادل پارسی واژه انگلیسی Pronominal

 

[31] معادل پارسی عبارت انگلیسی Proper Name

 

[32] معادل پارسی واژه انگلیسی Nominal

 

[33] معادل پارسی عبارت انگلیسی Out of Mention

 

[34] در این فصل دو نوع اندیس برای هر عبارت اسمی در نظر گرفته‏ایم، اندیس شماره برای تشخیص مرجع مشترک می باشد، یه عنوان مثال، سیستم آبیاری گلاب و این سیستم هر دو به یک موجودیت اشاره دارند و اندیس این موجودیت 1 می باشد. همچنین اندیس Ant نشان‏گر مقدم و اندیس Ana نشان‏گر تالی است که برای بررسی ارتباط پبشایندی در نظر گرفته شده است.

 

[35] معادل پارسی عبارت انگلیسی Automatic Content Extraction