Подкорпус, аннотированный вручную - Википедия - Manually Annotated Sub-Corpus
 | Эта статья поднимает множество проблем. Пожалуйста помоги Улучши это или обсудите эти вопросы на страница обсуждения. (Узнайте, как и когда удалить эти сообщения-шаблоны) (Узнайте, как и когда удалить этот шаблон сообщения)
|
MASC представляет собой сбалансированное подмножество письменных текстов и транскрибированной речи из 500 тыс. слов, взятых в основном из открытых Американский национальный корпус (OANC). OANC представляет собой корпус из 15 миллионов слов (и его число постоянно растет), выпущенный с 1990 года, и все они находятся в общественном достоянии или иным образом свободны от ограничений на использование и распространение.
Все MASC включают проверенные вручную аннотации для логической структуры (заголовки, разделы, абзацы и т. Д.), Границ предложений, трех различных токенизаций со связанной частью речевых тегов, поверхностного синтаксического анализа (фрагменты существительных и глаголов), именованных сущностей (человек, местоположение, организация, дата и время), и Penn Treebank синтаксис. В рамках проекта MASC были созданы дополнительные вручную или проверенные аннотации для частей субкорпуса, включая полнотекстовые аннотации для FrameNet элементы фрейма и более 100 тыс. предложений с WordNet 3.1 смысловые теги, одна десятая из которых также аннотирована для FrameNet элементы каркаса. Аннотации всего или части субкорпуса по широкому спектру других языковых явлений были предоставлены другими проектами, в том числе PropBank, TimeBank, Мнение MPQA, и несколько других. Аннотации со ссылками и границы разделов всего корпуса MASC планируется выпустить к концу 2016 года.
Аннотации WordNet для всех вхождений 114 слов также включены в дистрибутив MASC, а также FrameNet аннотации на 50-100 вхождений каждого из 114 слов. Предложения с WordNet и FrameNet аннотации также распространяются как часть Корпус предложений MASC.
Жанры
В отличие от большинства свободно доступных корпусов, включающих широкий спектр лингвистических аннотаций, MASC содержит сбалансированный выбор текстов из широкого диапазона жанров:
| Жанр | Файлов нет | Нет слов | Процент корпуса |
|---|---|---|---|
| Протокол судебного заседания | 2 | 30052 | 6% |
| Стенограмма дебатов | 2 | 32325 | 6% |
| Электронное письмо | 78 | 27642 | 6% |
| Сочинение | 7 | 25590 | 5% |
| Вымысел | 5 | 31518 | 6% |
| Правительственные документы | 5 | 24578 | 5% |
| Журнал | 10 | 25635 | 5% |
| Буквы | 40 | 23325 | 5% |
| Газета | 41 | 23545 | 5% |
| Нехудожественная литература | 4 | 25182 | 5% |
| Разговорный | 11 | 25783 | 5% |
| Технический | 8 | 27895 | 6% |
| Путеводители | 7 | 26708 | 5% |
| 2 | 24180 | 5% | |
| Блог | 21 | 28199 | 6% |
| Фиклеты | 5 | 26299 | 5% |
| Сценарий фильма | 2 | 28240 | 6% |
| Спам | 110 | 23490 | 5% |
| Анекдоты | 16 | 26582 | 5% |
| ОБЩИЙ | 376 | 506768 |
Аннотации
В настоящее время MASC включает семнадцать различных типов лингвистических аннотаций (* = в производстве; ** в настоящее время доступны только в исходном формате):
| Тип аннотации | Нет слов |
|---|---|
| Логический | 506768 |
| Токен | 506768 |
| Приговор | 506768 |
| POS / лемма (GATE) | 506768 |
| POS (Penn Treebank) | 506768 |
| POS (FrameNet) | 506768 |
| Куски существительных | 506768 |
| Куски глагола | 506768 |
| Именованные объекты (человек, организация, место, дата) | 506768 |
| Синтаксис Penn Treebank | 506768 |
| Coreference | *506768 |
| Границы статей, различия ядра / сателлита, маркеры дискурса | *506768 |
| FrameNet рамы / элементы рамы | 39160 |
| PropBank | **88530 |
| Мнение | 51243 |
| TimeBank | *55599 |
| Преданная вера | 4614 |
| Мероприятие | 4614 |
| Банк деревьев зависимостей | **5434 |
| Лексическая подстановка | **35,547 |
Все аннотации MASC, как предоставленные, так и созданные собственными силами, преобразуются в формат графических аннотаций (GrAF), определенный структурой лингвистических аннотаций (LAF) ISO TC37 SC4. ANC2Go может преобразовывать аннотации всего или части MASC в любой из нескольких других форматов, включая формат CONLL IOB и форматы для использования в UIMA и Общая архитектура для текстовой инженерии.
Распределение
MASC - это открытый ресурс данных, который может использовать кто угодно для любых целей. В то же время это совместный ресурс сообщества, который поддерживается аннотациями и производными данными сообщества. Его можно бесплатно загрузить с Страница загрузки MASC или через Консорциум лингвистических данных.
MASC также распространяется в форме с тегами части речи с Инструментарий естественного языка.
Смотрите также
Рекомендации
- Иде, Н., Бейкер, К., Феллбаум, К., Пассонно, Р. (2010). Аннотированный вручную субкорпус: ресурс сообщества для людей и для людей. Труды 48-го ежегодного собрания Ассоциации компьютерной лингвистики, Упсала, Швеция.
- Пассонно, Р., Бейкер, К., Феллбаум, К., Иде, Н. (2012). Корпус предложений MASC Word Sense. Материалы восьмой конференции по языковым ресурсам и оценке, Стамбул.
- Иде, Н., Судерман, К., Симмс, Б. (2010). ANC2Go: веб-приложение для создания индивидуального корпуса. Труды седьмой конференции по языковым ресурсам и оценке (LREC 2010), Валлетта, Мальта.