Калькулятор лексического разнообразия
Измеряйте разнообразие словарного запаса текста с помощью отношения типа к токену и связанных индексов.
Калькулятор лексического разнообразия
Вставьте любой текст, и этот инструмент измерит разнообразие его словарного запаса — показатель, который писатели, редакторы, преподаватели и исследователи используют для выявления повторяющихся фраз или сравнения богатства двух отрывков. Инструмент подсчитывает общее количество слов и количество уникальных слов, а затем выводит отношение типа к токену (TTR), его корневой вариант (индекс Гиро) и логарифмический вариант (C Хердана), а также скользящее среднее TTR, которое измеряет разнообразие в скользящихся окнах текста, чтобы длинные документы не были несправедливо штрафованы только за большое количество слов.
Параметры определяют, что считается отдельным словом. Игнорирование стоп-слов удаляет обычные служебные слова, такие как «the» или «and», перед сравнением, чтобы коэффициент отражал слова содержания, а не грамматику. Игнорирование регистра и диакритики означает, что «Apple» и «apple» — или «café» и «cafe» — рассматриваются как одно слово. Обрезание слов до базовой формы применяет облегчённую эвристику отделения суффиксов, настроенную для английского языка, так что «running» и «runs» сходятся к «run», а не к полной лемматизации. Минимальная длина слова отфильтровывает короткий наполнитель, окно скользящего среднего управляет тем, сколько слов охватывает каждый образец разнообразия, и вы можете перечислить столько наиболее часто повторяющихся слов, сколько захотите. Выберите сводку на простом языке или таблицу с разделителями табуляции в зависимости от того, читаете ли вы цифры или вставляете их в электронную таблицу.
Отношение типа к токену само по себе уменьшается по мере увеличения текста, просто потому что слова начинают повторяться — вот почему существуют корневой и логарифмический варианты и оценка скользящего среднего, каждый из которых по-разному корректирует длину. Сравнение всех четырёх показателей одновременно дает более полную картину, чем любое отдельное число. Инструмент одинаково обрабатывает окончания строк Windows (CRLF) и Unix (LF), а интерактивный подсчёт под выводом показывает количество слов и количество уникальных слов рядом с простым TTR по мере ввода.
Всё работает в вашем браузере. Ваш текст никогда не загружается на сервер, поэтому безопасно вставлять черновики, рукописи или студенческие работы. Скопируйте результат, загрузите его как файл .txt или отправьте вывод обратно на вход, чтобы продолжить уточнение анализа.