O wszystkim, co wiąże się z technologią wyszukiwania.
Blog > Komentarze do wpisu

Każdy opisuje tą samą rzeczywistość trochę inaczej

W tekście źródłowym, opisującym dane zjawisko, rzecz, osobę czy inny obiekt można użyć bardzo różnorodnych słów i sformułowań. Każdy ma inny styl. Jak zatem algorytmicznie ocenić, o czym jest tekst? Czy można w sposób uniwersalny udzielić odpowiedzi na zapytanie np. „daj mi wszystkie dokumenty na temat uprawy winorośli”?

Przetwarzanie języka naturalnego w silnikach wyszukiwania to temat sam w sobie bardzo rozległy. Jednak właśnie celem tego przetwarzania jest przede wszystkim poprawa kompletności wyników wyszukiwania tak, żeby zawierały one wszystkie dokumenty dla zadanego przez użytkownika zapytania.

W idealnym rozwiązaniu działoby się to w ten sposób, w jaki ludzie oceniają treść dokumentu, czyli czytają go, wybierają najistotniejsze elementy i starają się określić, czy jest na wskazany temat.

Istnieje wiele mechanizmów, które pomagają w przybliżeniu się do tego ideału. Należą od nich: wykrywanie gramatycznej formy podstawowej, ignorowanie wyrazów nieistotnych, uwzględnianie synonimów, wyrażeń wielowyrazowych i idiomów, wykrywanie obiektów (typu osoba, nazwa geograficzna, nazwa firmy lub instytucji, numer telefonu, adres WWW lub e-mail i inne), rozstrzyganie znaczenia wyrazów polisemicznych (o wielu znaczeniach), stosowanie lingwistycznej sieci semantycznej lub ontologii. Wiele z tych mechanizmów jest już dostępnych dla języka polskiego w wielu wiodących technologiach wyszukiwania.

Jednak trzeba sobie jasno powiedzieć, że zakres stosowania wyżej wymienionych mechanizmów musi zawsze być podporządkowany konkretnemu zastosowaniu. Rozwiązanie "z pudełka" NIE ISTNIEJE!!!

wtorek, 08 grudnia 2009, zenonik90

Polecane wpisy

TrackBack
TrackBack w tym blogu jest moderowany. TrackBack URL do wpisu:
    Paweł Wróblewski

    Jeśli podoba Ci się publikowana treść, rozważ proszę dofinansowanie rozwoju tego bloga.

    Follow zenonik90 on Twitter
góra | "Proście, a będzie wam dane; szukajcie, a znajdziecie; kołaczcie, a otworzą wam." Mt 7,7