Свързани публикации 'nlp'


Спрете да наблягате на регулярните изрази
Вместо това създавайте четливи изрази с тази библиотека Регулярните изрази са низове/модели, които могат да съвпадат с въведен текст. Първоначално те са били изобретени от Стивън Клийн през 50-те години на миналия век в Bell labs, но сега са налични в повечето съвременни редактори на код и езици за програмиране. Регулярните изрази (наричани още RegEx) могат да се използват за различни цели. Например често срещана задача при извличане на информация (IR) е да напишете израз, който..
Изградете детектор на европейски езици от нулата за по-малко от ден!
Откриването на език е добре развита област на обработката на естествен език (NLP) в машинното обучение и следователно има няколко алгоритми и API, налични в литературата и онлайн. Въпреки това, изпълнението на някои от тези алгоритми на процесор с ниска памет и скорост може да предложи своя справедлив дял от предизвикателства, особено за разработчиците, които се опитват да създадат свои собствени или да модифицират съществуващи кодове. Успях да съставя много прост, но ефективен..
Създаване на платформа за анотации от нулата
Създаване на платформа за анотации с помощта на Argilla Въведение Тъй като анотациите са от решаващо значение за осигуряване на качествени данни за проекти за обработка на естествен език (NLP). Основната идея на проекта е да предостави прост и интуитивен потребителски интерфейс за ефективно анотиране на всеки набор от данни. Платформата има два API, един за слоя за приемане и друг за слоя за обслужване, за да опрости процеса на интеграция с други приложения. API за приемане се..
Разбиране на сложността на обяснимия AI при обработката на естествен език
Включването на Explainable AI (XAI) се очертава като решаващо начинание в бързо развиващата се област на изкуствения интелект (AI), особено в областта на обработката на естествен език (NLP). Разбирането как AI моделите правят преценки се превърна в основен приоритет, тъй като тези модели стават по-сложни и могат да се справят с все по-предизвикателни задачи. В тази статия се задълбочаваме в концепцията за обясним AI в НЛП, нейното значение, предизвикателства и потенциални решения. През..
Дестилиране стъпка по стъпка : Преглед на хартия
Дестилиране стъпка по стъпка: преглед на хартия Проучване на един от най-новите и иновативни методи в LLM компресията автори Тази публикация в блога е написана от Marcello Politi и Vijayasri Iyer . Въведение В наши дни големите езикови модели са доста известни. Последните тенденции в изследванията на изкуствения интелект показват, че по-големите LM имат способности за обобщаване с нулев изстрел и способности за възникващи/разсъждаващи разсъждения . В момента един от..
Извличане на адреси и парсер с NLP
Въведение Извличането на адреси от необработени данни е ценен инструмент за фирми и организации, които трябва да обработват големи количества писмени данни, като фактури или комуникации с клиенти. Системата за автоматично извличане на адреси е инструмент, който автоматично извлича и идентифицира адреси от неструктуриран текст. Той идентифицира и извлича подходяща информация, като имена на улици, имена на градове и пощенски кодове. След това извлечените адреси могат да се използват за..
Програмно етикетиране — Сливане на ансамбъл от функции за етикетиране
Прост подход за обединяване на множество етикети от ансамбъл от функции за етикетиране с помощта на гласуване с мнозинство. Този процес разчита на библиотеката extr-ds ( Github Repository ). pip install extr-ds Просто мнозинство Прост метод за преброяване и определяне какъв етикет трябва да се появи сред група функции за етикетиране. В случаите, когато гласуването е равно, печели етикетът с най-висок претеглен резултат— += weight * (confidence[i] * 1) . В случаите, когато..