Wiki - Факультет компьютерных наук - Вклад [ru]

Редактор параллельных разметок (проект)

2014-11-27T15:10:50Z

Olyashevskaya: /* Что такое разметка? */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====
Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====
Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 
[[Файл:IMAG1092.jpg|мини]]

====Интерфейс должен уметь:====
1) создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде) 

2) выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения) 

3) показывать расхождения (подсветкой?) 

4) давать возможность пользователю выбрать один ("правильный"), кликнув на нем 

5) автоматически выбирать "правильный", если разметки для токена везде совпадают 

6) выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше) 

7) давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования) 

8) сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки) 

9) сохранять информацию о текущем состоянии в файл "проекта" 

10) проверять валидность итогового xml-файла (с учетом п. 7) 

11) сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному 

12) давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется) 

Желательные фичи:
а) отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор) 

б) показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement 
в) ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих" 
г) вручную менять порядок показа их разборов 
д) особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии 
е) возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает) 
ж) убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную). 
---

=== Чему вы научитесь? ===
---

=== Какие начальные требования? ===
---

=== Какие будут использоваться технологии? ===
---

=== Темы вводных занятий ===
---

=== Направления развития ===
---

=== Критерии оценки ===
---

Файл:IMAG1092.jpg

2014-11-27T15:09:51Z

Olyashevskaya:

Редактор параллельных разметок (проект)

2014-11-27T15:09:12Z

Olyashevskaya: /* Что такое разметка? */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====
Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====
Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ 
Параллельную разметку можно представить примерно так: 

====Интерфейс должен уметь:====
1) создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде) 

2) выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения) 

3) показывать расхождения (подсветкой?) 

4) давать возможность пользователю выбрать один ("правильный"), кликнув на нем 

5) автоматически выбирать "правильный", если разметки для токена везде совпадают 

6) выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше) 

7) давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования) 

8) сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки) 

9) сохранять информацию о текущем состоянии в файл "проекта" 

10) проверять валидность итогового xml-файла (с учетом п. 7) 

11) сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному 

12) давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется) 

Желательные фичи:
а) отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор) 

б) показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement 
в) ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих" 
г) вручную менять порядок показа их разборов 
д) особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии 
е) возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает) 
ж) убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную). 
---

=== Чему вы научитесь? ===
---

=== Какие начальные требования? ===
---

=== Какие будут использоваться технологии? ===
---

=== Темы вводных занятий ===
---

=== Направления развития ===
---

=== Критерии оценки ===
---

Редактор параллельных разметок (проект)

2014-11-27T14:34:00Z

Olyashevskaya: /* Интерфейс должен уметь: */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====
Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====
Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ

====Интерфейс должен уметь:====
1) создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде) 

2) выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения) 

3) показывать расхождения (подсветкой?) 

4) давать возможность пользователю выбрать один ("правильный"), кликнув на нем 

5) автоматически выбирать "правильный", если разметки для токена везде совпадают 

6) выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше) 

7) давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования) 

8) сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки) 

9) сохранять информацию о текущем состоянии в файл "проекта" 

10) проверять валидность итогового xml-файла (с учетом п. 7) 

11) сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному 

12) давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется) 

Желательные фичи:
а) отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор) 

б) показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement 
в) ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих" 
г) вручную менять порядок показа их разборов 
д) особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии 
е) возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает) 
ж) убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную). 
---

=== Чему вы научитесь? ===
---

=== Какие начальные требования? ===
---

=== Какие будут использоваться технологии? ===
---

=== Темы вводных занятий ===
---

=== Направления развития ===
---

=== Критерии оценки ===
---

Редактор параллельных разметок (проект)

2014-11-27T14:31:08Z

Olyashevskaya: /* Что такое разметка? */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====
Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====
Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского: 
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ

====Интерфейс должен уметь:====
1) создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде).
2) выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
3) показывать расхождения (подсветкой?)
4) давать возможность пользователю выбрать один ("правильный"), кликнув на нем.
5) автоматически выбирать "правильный", если разметки для токена везде совпадают
6) выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
7) давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
8) сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
9) сохранять информацию о текущем состоянии в файл "проекта"
10) проверять валидность итогового xml-файла (с учетом п. 7)
11) сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
12) давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)
Желательные фичи:
а) отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
б) показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
в) ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
г) вручную менять порядок показа их разборов
д) особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
е) возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
ж) убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).
---

=== Чему вы научитесь? ===
---

=== Какие начальные требования? ===
---

=== Какие будут использоваться технологии? ===
---

=== Темы вводных занятий ===
---

=== Направления развития ===
---

=== Критерии оценки ===
---

Редактор параллельных разметок (проект)

2014-11-27T14:30:29Z

Olyashevskaya: /* Что это за проект? */

{{Карточка_проекта
|name=Редактор параллельных разметок
|mentor=Фролов Дмитрий
|mentor_login={{URLENCODE:{{REVISIONUSER}}|WIKI}}
|semester=Весна 2015
|course=1
|summer=
|categorize=yes
}}

=== Что это за проект? ===
====Мотивировка====
Для разметки языковых данных в корпусах, базах данных и т.п. часто пользуются краудсорсингом, привлекая студентов, школьников, энтузиастов, низкооплачиваемых mechanical turks. Являясь непрофессионалами и не имея достаточного опыта, эти разметчики делают много ошибок, поэтому обычно одни и те же данные размечаются двумя-тремя-.. - пятью разметчиками. Нужен интерфейс для супервайзера-профессионала, который на основе этих параллельных разметок создаст правильную итоговую разметку. (Аналогично такую чистовую разметку делают на основе ответов нескольких автоматических разметчиков).

====Что такое разметка?====
Токен (слово или другая единица языка) с приписанным ему набором тегов ("разбором"), ср. пример из древнерусского:
<ana lex="проблискатисѧ" gr="V,praes,sg,3p" source_el="ἀπαστράπτεται"/>проблискаѥтсѧ

====Интерфейс должен уметь:
1) создавать "проект" и загружать исходные файлы (от двух до N файлов с xml-разметкой в юникоде).
2) выравнивать данные из разных файлов по токенам (NB возможны мелкие расхождения)
3) показывать расхождения (подсветкой?)
4) давать возможность пользователю выбрать один ("правильный"), кликнув на нем.
5) автоматически выбирать "правильный", если разметки для токена везде совпадают
6) выделять или (как опция) автоматически выбирать наиболее вероятный разбор по принципу "большинство голосует" (если разметок 3 и больше)
7) давать возможность вручную написать новый разбор, если другие не годятся (в поле для редактирования)
8) сохранять итоговую разметку в xml-файл (токены, для которых ответ не выбран, остаются без разметки)
9) сохранять информацию о текущем состоянии в файл "проекта"
10) проверять валидность итогового xml-файла (с учетом п. 7)
11) сообщать, сколько разборов осталось неразмеченными (в status bar?), и переходить к следующему неразмеченному
12) давать возможность увидеть контекст (10 токенов слева и справа от текущего как сниппет) (NB всплывающее поле? в строке статуса по клику? отрисовывать его при каждом токене не хочется)
Желательные фичи:
а) отрисовывать блекло повторяющиеся разборы, чтобы они не отвлекали пользователя (совсем скрывать их нежелательно, чтобы пользователь видел, откуда пришел тот или иной разбор)
б) показывать [http://en.wikipedia.org/wiki/Cohen%27s_kappa каппу] inter-annotator agreement
в) ранжировать аннотаторов от "хороших" к "плохим" (по степени их согласования с большинством), сначала показывать "хороших", потом "плохих"
г) вручную менять порядок показа их разборов
д) особым образом помечать сложные случаи, чтобы потом можно было к ним вернуться (+ переходить между ними), иметь возможность писать к ним комментарии
е) возможность оставить два и более разбора в итоговой разметке (такая потребность реально бывает)
ж) убирать и добавлять токены в разметку (связано с тем, что границы между токенами требуется поменять вручную).
---

=== Чему вы научитесь? ===
---

=== Какие начальные требования? ===
---

=== Какие будут использоваться технологии? ===
---

=== Темы вводных занятий ===
---

=== Направления развития ===
---

=== Критерии оценки ===
---