Biblioteka Cyfrowa KLF UW (Digital Library of the Formal Linguistics Department at the University of Warsaw)

Bień, Janusz S.

O ,,pierwszym rozbiorze polszczyzny'', Radzie Języka Polskiego  i normalizacji

Gębka-Wolak, Małgorzata

Kaproń-Charzyńska, Iwona

Urban, Małgorzata

Polish

Konstrukcje werbalne z `aż' w gramatyce Świdzińskiego

Danielewiczowa, Magdalena

Zielińska, Anna

Mentale Verben in der Polszczyzna północnokresowa: Ein Klassifikationsversuch

Gajda, Stanisław

O informatyce i przyszłości polszczyzny

Spis treści -1
LXI Zjazd PTJ, Tarnów
12-13.09.2003
Teksty i dokumenty
Teksty i dokumenty
Teksty i dokumenty
Teksty i dokumenty
Kodowanie tekstów w
komputerze
Kodowanie tekstów w
komputerze
Kodowanie tekstów w
komputerze
Kodowanie tekstów w
komputerze
Kodowanie tekstów w
komputerze
Kodowanie tekstów w
komputerze
Kodowanie tekstów w
komputerze
Unicode 4.0
Unicode Consortium
(www.unicode.org)
Terminologia Unicode
Unicode 4.0
Alfabety i symbole
Alfabety i symbole
Zunifikowane znaki hanowskie
Spis treści 0
Koreańskie znaki sylabiczne
Koreańskie znaki sylabiczne
Terminologia Unicode
Terminologia Unicode
Kodowanie tekstów w
komputerze
Reprezentacja struktury tekstu
SGML
SGML/XML
Emblem Project Utrecht
GNU Emacs (psgml, xxml)
SGML w Polsce
T. Piotrowski, Z. Saloni
Uwagi końcowe
LXI Zjazd PTJ, Tarnów 12-13.09.2003 1
Janusz S. Bień
Adekwatna
reprezentacja elektroniczna
tekstów pisanych
12.09.2003
Teksty i dokumenty 2
Inny słownik
języka polskiego PWN:
tekst
ciąg zapisanych słów i zdań,
zwłaszcza tworzących pewną całość
artystyczną lub logiczną
Teksty i dokumenty 3
Wielki słownik
wyrazów obcych PWN:
dokument
3. «plik komputerowy,
w szczególności tekstowy,
zawierający informacje zapisane
w odpowiednim formacie»
Teksty i dokumenty 4
J. S. Bień
dokument (elektroniczny)
Traktowany jako jedna całość — w szczególności
opublikowany lub przeznaczony do opublikowania
w sposób tradycyjny lub za pomocą Internetu np.
na stronach WWW— plik lub zbiór plików kompu-
terowych zawierających pewną informację, w szcze-
gólności tekstową, w odpowiednim formacie, np.
HTML.
Teksty i dokumenty 5
Nietekstowe
składniki dokumentów:
• ilustracje
• formuły matematyczne
• formuły chemiczne
• . . .
Kodowanie tekstów w komputerze 6
Rodzaje kodowania:
• akustyczne
• wizualne
• symboliczne
• technologiczne
Kodowanie tekstów w komputerze 7
Kodowanie akustyczne:
książka mówiona
DAISY (Digital Accessible Information SYstem)
Dostępny [dla niewidomych]
cyfrowy system informacyjny
http://www.daisy.org
norma amerykańska od 2002 r.
Kodowanie tekstów w komputerze 8
Odtwarzacz DAISY
Kodowanie tekstów w komputerze 9
Kodowanie wizualne:
skanowanie
Proces dokładnej i systematycznej analizy pewnych
danych wejściowych przez program lub urządzenie.
Mówi się o skanowaniu obrazu przez kamery telewi-
zyjne i skanery, . . .
Ang. to scan – dawn. wchodzić, robić coś krok po
kroku.
Kodowanie tekstów w komputerze 10
Kodowanie wizualne:
Przykład tekstu wskanowanego
Polska Akademia Nauk
Słownik języka polskiego
pod redakcją
Witolda Doroszewskiego
Wiedza Powszechna
Państwowe Wydawnictwo Naukowe
1958-1969
Kodowanie tekstów w komputerze 11
Litterae s.c.
dla Wydawnictwa Naukowego PWN:
Przedruk elektroniczny
(1997)
Koordynator:
Janusz S. Bień
Redaktor prowadzący:
Jadwiga Linde-Usiekniewicz
Kodowanie tekstów w komputerze 12
Kodowanie tekstów w komputerze 13
Kodowanie technologiczne:
PostScript
PDF Portable Document Format
RTF Rich Text Format
format Microsoft Word
i inne
Kodowanie tekstów w komputerze 14
Kodowanie symboliczne:
• czysty tekst
(plain text)
• tekst adiustowany
(marked-up text)
Kodowanie tekstów w komputerze 15
Czysty tekst
kodowany symbolicznie:
• ciąg znaków piśmiennych
• znaki piśmienne (characters)
reprezentowane przez liczby naturalne
Kodowanie tekstów w komputerze 16
Kodowe zestawy znaków
(strony kodowe):
CP 852 (DOS)
CP 1250 (MS Windows)
Latin 2 (Unix i Linux)
Różne repertuary!
Unicode 4.0 17
Unicode 4.0 18
The Unicode Standard
Version 4.0
1504 strony plus CD-ROM
Addison-Wesley
27.08.2003
Unicode Consortium (www.unicode.org) 19
Terminologia Unicode 20
Znaki (piśmienne)
(abstract) character
Terminologia Unicode 21
repertuar
znaków piśmiennych
abstract character
repertoire
Terminologia Unicode 22
współrzędna kodowa znaku
character code point
Unicode 4.0 23
96 246 znaków:
alfabety i symbole ok. 14 000
zunifikowane znaki hanowskie ok. 20 000
dodatkowe znaki hanowskie ok. 50 000
koreańskie znaki sylabiczne ok. 11 000
Alfabety i symbole 24
CYRILLIC CAPITAL LETTER KOMI ZJE
Alfabety i symbole 25
EIGHT PETALLED OUTLINED BLACK FLORETTE
Zunifikowane znaki hanowskie 26
Unified Han Ideographs
dynastia hanowska
dynastia Han
od 206 r. p.n.e.
pismo hanowskie:
Chiny – wersja tradycyjna
Chiny – wersja uproszczona
Japonia
Korea
Zunifikowane znaki hanowskie 27
Koreańskie znaki sylabiczne 28
Pismo koreańskie
(hangul)
alfabetyczne
ale
znaki są wpisywane w prostokąt!
Koreańskie znaki sylabiczne 29
Terminologia Unicode 30
LATIN SMALL LETTER A
WITH OGONEK
ą ą ą ą ą
ą ą ą ą ą
ą ą ą ą ą
261
(heksadecymalnie 0105)
Terminologia Unicode 31
Glify (glyphs)
ą ą ą ą ą
ą ą ą ą ą
ą ą ą ą ą
Znak piśmienny (abstract character)
261
(heksadecymalnie 0105)
LATIN SMALL LETTER A
WITH OGONEK
Terminologia Unicode 32
Znak czy glif?
A (alfabet łaciński)
A (alfabet grecki)
A (cyrylica)
Kodowanie tekstów w komputerze 33
Kodowanie symboliczne:
• czysty tekst
(plain text)
• tekst adiustowany
(marked-up text)
Reprezentacja struktury tekstu 34
języki adiustacyjne
markup languages
SGML 35
ISO
International Organisation for Standarization
Information processing
Text and office systems
Standard Generalized Markup Language (SGML)
ISO 8879:1986
ISO 8879:1986/Cor 1:1996
ISO 8879:1986/Cor 2:1999
ISO 8879:1986/Amd 1:1988
SGML 36
SGML/XML 37
W3C
World Wide Web Consortium
Tim Bray, Jean Paoli, C. M. Sperberg-McQueen, Eve Maler
Extensible Markup Language (XML) 1.0
Second Edition
W3C Recommendation
6 October 2000
http://www.w3.org/TR/REC-xml
SGML/XML 38
Sperberg-McQueen, C.M.. and Burnard, L. (eds.)
TEI P4:
Guidelines for Electronic Text
Encoding and Interchange.
Text Encoding Initiative Consortium.
XML Version
Oxford, Providence, Charlottesville, Bergen
2002
Dwa tomy: 590 i 498 stron.
http://www.tei-c.org/Guidelines2/index.html
Emblem Project Utrecht 39
<TEI.2>
<teiHeader>
<fileDesc>
<titleStmt>
<title>Emblemata Amatoria 1608</title>
<author><name>Dani&euml;l Heinsius</name></author>
<editor><name id="jb">Jan de Boer</name></editor>
<editor><name>Els Stronks</name></editor>
<editor><name>Peter Boot</name></editor>
<respStmt>
<resp>Translations by </resp><name>Jan Bloemendal</name>
<resp> in cooperation with </resp><name>Boukje Thijs and Pim van Tent</name>
</respStmt>
</titleStmt>
<editionStmt>
<edition>a web edition</edition>
</editionStmt>
<publicationStmt>
<pubPlace>Utrecht</pubPlace>
<date>January 2002</date>
<publisher>Emblem Project Utrecht</publisher>
</publicationStmt>
<sourceDesc>
<p>Het door ons gebruikte exemplaar komt uit
Utrecht (LBKUN: RAR LMY Heinsius 2 Conv 1), en verscheen gebundeld met
’Spiegel van de doorluchtige, eerlicke, cloucke, deuchtsame ende verstandege
vrouwen’.</p>
</sourceDesc>
GNU Emacs (psgml, xxml) 40
GNU Emacs (psgml, xxml) 41
SGML w Polsce 42
INCO–COPERNICUS PL96–113
STEEL
Specialised Translation/foreign language understanding tools
for Eastern Europe Languages
Specjalistyczne narzędzia do tłumaczenia i rozumienia
tekstów obcojęzycznych dla języków Europy Wschodniej
1997–1999
T. Piotrowski, Z. Saloni 43
Uwagi końcowe 44
Kontakt:
jsbien@uw.edu.pl
Adres strony domowej:
http://www.mimuw.edu.pl/~jsbien/
Niniejsze slajdy
dostępne pod adresem:
http://www.mimuw.edu.pl/~jsbien/slajdy/
JSB-PTJ03-s.pdf
Referat z poprzedniego zjazdu PTJ:
http://www.mimuw.edu.pl/~jsbien/publikacje/
JSB-BPTJ02e.pdf


Adekwatna reprezentacja elektroniczna tekstów pisanych

TexLive w sieci. Koncepcja i wykorzystanie

Woliński, Marcin

Linde-Usiekniewicz, Jadwiga

Huszcza, Romuald

Janusz S. Bień∗, Marcin Woliński∗∗
Wzbogacony korpus
Słownika frekwencyjnego polszczyzny współczesnej
17 grudnia 2001 roku
Korpus słownika frekwencyjnego to pięć zestawów próbek po 100 000 słów
wylosowanych z autentycznych tekstów z lat 1963–1967 należących do 5 stylów
— tekstów popularnonaukowych, drobnych wiadomości prasowych, publicystyki,
prozy artystycznej i dramatu artystycznego — na potrzeby badań frekwencji słów
języka polskiego.
Pierwotnie korpus miał formę taśm papierowych wyperforowanych na dale-
kopisie (czego konsekwencją był brak rozróżnienia małych i dużych liter). Został
on wczytany do komputera przez Bronisława Rocławskiego (wówczas na Uni-
wersytecie Gdańskim) i zapisany na taśmie magnetycznej; niestety, w trakcie tej
operacji do korpusu wkradły się pewne przekłamania. Taśma magnetyczna zo-
stała zapisana na komputerze ODRA 1204 w standardzie, który szybko wyszedł
z użycia. W związku z tym taśma z korpusem trafiła w ręce Krzysztofa Szafrana,
który w Instytucie Informatyki Uniwersytetu Warszawskiego na podstawie list
frekwencyjnych dla poszczególnych stylów ([4, 5, 9, 6, 7]) opracowywał tzw.
tom zbiorczy, opublikowany jako Słownik frekwencyjny polszczyzny współcze-
snej [8] (pewne dodatkowe informacje o historii tego projektu zawiera artykuł
[13]). Krzysztof Szafran za pomocą specjalnie przygotowanego programu odczy-
tał taśmę na komputerze SM-4 i zapisał jej zawartość na bardziej nowoczesnych
nośnikach, w wyniku czego korpus stał się dostępny również na dyskietkach
stosowanych w komputerach osobistych.
Choć słownictwo korpusu jest już częściowo przestarzałe, korpus ten nadal
ma dużą wartość m.in. dla badań składniowych. Z tego względu Janusz S. Bień
— jeszcze jako adiunkt w Instytucie Informatyki UW — wystąpił z inicjatywą
dokonania korekty korpusu i udostępnienia go w bardziej nowoczesnej formie.
Pierwszy krok w tym kierunku stanowiła opracowana pod jego kierunkiem praca
magisterska Marty Nazarczuk ([10]). Janusz S. Bień wykonał również ekspery-
ment polegający na przetworzeniu stylu popularnonaukowego dwoma korektora-
mi ortograficznymi: polskiej firmy TiP i węgierskiej firmy Morphologic ([12, s.
153], [15]); współautor tego drugiego narzędzia, Robert Wołosz, przetworzył nim
również inne style i udostępnił nam wyniki. Operacje te pozwoliły nie tylko wy-
kryć błędy literowe, ale odtworzyć z dużym prawdopodobieństwem rozróżnienie
dużych i małych liter.
Janusz S. Bień kierował również następnymi etapami prac nad tym zada-
niem, w czym istotnie pomagał mu ostatnio Marcin Woliński. Pewne prace nad
korpusem zostały wykonane w ramach projektów ELAN (European Language
∗ Zakład Zastosowań Informatycznych, Instytut Orientalistyczny Uniwersytetu Warszawskiego,
patrz http://www.orient.uw.edu.pl/~zzi/
∗∗ Zespół Inżynierii Lingwistycznej, Instytut Podstaw Informatyki PAN, patrz http://www.
ipipan.waw.pl
1
Activities Network) i projektu KBN Zestaw testów do weryfikacji i oceny analiza-
torów języka polskiego oraz w ramach pracy magisterskiej Macieja Ogrodniczuka
[11]; w szczególności Katarzyna Głowińska przygotowała nową taksonomię mor-
fologiczną inspirowaną podobnymi pracami dla języka czeskiego [1]. W latach
1999-2000 ręczna weryfikacja korpusu, utworzenie hasłowanej konkordancji i
pewne inne prace z tym związane były finansowane z inicjatywy prof. dr hab.
Jadwigi Sambor — kierownik Katedry Językoznawstwa Ogólnego i Bałtystyki na
Wydziale Polonistyki UW — z funduszy badań statutowych Katedry.
Obecna postać korpusu różni się od pierwotnej przede wszystkim pod nastę-
pującymi względami:
1. Jak już było wspomniane, wprowadzono rozróżnienie dużych i małych li-
ter niewystępujące w oryginalnych plikach korpusu z powodów technicznych
(z powodu braku polskich liter w repertuarze znaków dalekopisu odpowied-
nimi dużymi literami oznaczano właśnie polskie litery).
2. Skonfrontowano wersję elektroniczną korpusu z przechowywanymi przez prof.
Sambor oryginalnymi fiszkami weryfikując poprawki wprowadzone kompu-
terowo i wprowadzając pewne uzupełnienia. Dla stylu popularnonaukowego
zadanie to we wzorcowy sposób wykonała Marta Nazarczuk, niestety weryfi-
katorzy pozostałych stylów okazali się mniej solidni.
3. Wprowadzono do komputera pełne opisy bibliograficzne źródeł i dołączono
je do odpowiednich fiszek. Pracę tę wykonała Marta Nazarczuk.
4. Przygotowano elektroniczną wersję fiszek wygodną do przeglądania; pracę tę
wykonał Marcin Woliński.
5. Dokonano weryfikacji kodów gramatycznych przy poszczególnych słowach
oraz wprowadzono dodatkową informację gramatyczną, zgodną z wspomnia-
ną wcześniej taksonomią. Informację tę dopisano również do tych słów, które
w oryginalnej wersji w ogóle nie miały kodów gramatycznych. Pracę tę wy-
konał Maciej Ogrodniczuk — według wskazówek Marcina Wolińskiego —
wykorzystując analizator morfologiczny SAM autorstwa Krzysztofa Szafrana
[14].
6. Wprowadzenie kodów gramatycznych dla wszystkich słów, dla których było
możliwe zrobić to automatycznie, pozwoliło na przygotowanie hasłowanej
konkordancji tekstu korpusu. Pracę tę wykonał Bartłomiej Krawczyk za po-
mocą opracowanego przez siebie programu ([2], [3]); niestety, ze względu
na eksperymentalny charakter tego programu może on być użytkowany tylko
przez jego autora. Hasłowane konkordancje w nieco innym formacie zostały
również przygotowane przez Marcina Wolińskiego. Oto przykład:
_____ ___________________________________ pies ________________________________________________
D0325 a dzieci pluskały się w wodzie. Pies SSNA---------P był nieodłącznym towarzyszem
E0452 choć chodziłam za nim jak ten pies. SSNA---------P Tyś przy nim tak nie warowała,
E0885 do nogi! Bobik, leżeć! Zdechł pies! SSNA---------P
E1221 żeby bez plakatów, bo i tak pies SSNA---------P z kulawą nogą nie przyjdzie.
E1245 Co to? .. Pies .. SSNA---------P Pies? Jaki pies? Gryzie? ..
E1245 Co to? .. Pies .. Pies? SSNA---------P Jaki pies? Gryzie? .. Czasami
E1245 Co to? .. Pies .. Pies? Jaki pies? SSNA---------P Gryzie? .. Czasami .. On się
E1245 .. On się ciebie słucha, ten pies? SSNA---------P To każ mu wyjść spod ławki
C0790 Jeśli gwizdniemy na wyszkolonego psa SSAA---------P specjalnym gwizdkiem
C1207 psu dodatkowe serce (z innego psa) SSGA---------P tak, że ten żył z dwoma
D0881 w szarówce ledwie ustępującej nocy psa SSAA---------P Kolędy biegnącego ze skowytem
D1207 a kochałem tylko Grażynę i psa. SSAA---------P Układaliśmy stóg. Najpierw na
E1017 fotografowali. Domy, cegielnię, psa SSAA---------P przy budzie, uschnięte drzewo
C1207 skupił on uwagę i wysiłki na psach, SPLA---------P przeszczepiając im płuca,
D1005 Pachołka, córce zaszczutego psami SPIA---------P Pachołka? Że staraj się, aby
D1333 Poszliśmy we trzech, z psem, SSIA---------P na nadbrzeże, przy którym
E0996 Kondycja fizyczna pod psem. SSIA---------P Dwadzieścia lat klęczałem w
B1285 oraz schronisko dla bezdomnych psów, SPGA---------P kotów i tym podobne.
D1221 Leosi. Już z daleka szczekanie psów SPGA---------P przywodziło na myśl rozległe
E1251 Nie. Po prostu miałem już tyle psów, SPGA---------P że naprawdę znam się z
E1251 jak w leśniczówce, zawsze było masę psów. SPGA---------P Nawet w czasie wojny trzymałem
B0835 zwierzę. Tylko Ewa ruszyła psu SSDA---------P z pomocą. Wzięła go na ręce
C1207 doktór Demichow wszczepił psu SSDA---------P dodatkowe serce (z innego psa)
D0492 guzik. Innymi słowy, panie, to dwa psy, SPNA---------P które usiłują jeden drugiemu
D0640 Biały promień szastnął w krzaki, psy SPNA---------P z ujadaniem skoczyły ku
D1461 w zapadłej tylko co ciemności. Psy SPNA---------P nagonki, które od pewnej
E1149 od niego .. To cholerne psy. SPNA---------P
2
Tak rozbudowany korpus proponujemy nazywać wzbogaconym korpusem
słownika frekwencyjnego (w skrócie WKSF). Jego podstawową formą jest płyta
CD-ROM, której zawartość jest opisana odrębnie.
Prace nad udoskonaleniem i wzbogaceniem korpusu nie mają wyraźnego koń-
ca — kolejne eksperymenty komputerowe mogą ujawnić przeoczenia korekty, no-
we potrzeby badawcze mogą wymagać wzbogacenia korpusu o dodatkowe infor-
macje. Dlatego najwłaściwsze wydaje się publiczne udostępnienie korpusu — oraz
materiałów pochodnych, takich jak konkordancje — na podstawie licencji GNU:
oznacza to pełną swobodę ich wykorzystania (nawet do celów komercyjnych!),
ale pod warunkiem udostępnienia na tych samych zasadach wszystkich poprawek
i modyfikacji (patrz http://www.gnu.org/copyleft/, polskie tłumaczenie
dostępne jest m.in. pod adresem http://gnu.org.pl/text/licencja-gnu.
html). Licencja GNU jest stosowana powszechnie w informatyce od wielu lat i
można śmiało stwierdzić, że jest to rozwiązanie sprawdzone w praktyce.
W razie uzyskania pisemnej zgody na jego udostępnienia na takich lub po-
dobnych zasadach od właścicieli praw autorskich korpusu, podejmiemy kroki, aby
korpus stał się również dostępny w Internecie na witrynach Instytutu Informatyki
Uniwersytetu Warszawskiego i Instytutu Podstaw Informatyki PAN.
Literatura
[1] Jan Hajicˇ and Barbora Hladka. 1998. Tagging Inflective Languages: Pre-
diction of Morphological Categories for a Rich, Structured Tagset. In
Proceedings of ACL/Coling’98, Montreal, Canada, Aug. 5-9, pp. 483-490.
http://shadow.ms.mff.cuni.cz/pdt/Morphology_and_Tagging/Tagging/
Doc/References/col98.pdf.
[2] Krawczyk, Bartłomiej.Indeksowanie tekstu polskiego z wykorzystaniem analizy
morfologicznej. Praca magisterska napisana pod kierunkiem dra Krzysztofa Sza-
frana. Warszawa, 1999. Instytut Informatyki Uniwersytetu Warszawskiego. 83 s.,
płyta CD.
[3] Krawczyk, Bartłomiej. Konkordancje hasłowane tekstów języka polskiego. Gerhild
Zybatow, Uwe Junghanns, Grit Mehlborn, Luka Szucsich, 3. Europa¨ische Konferenz
”Formale Beschreibung slavischer Sprachen, Leipzig 1999. Linguistische Arbeits-
Berichte 75, Institut fu¨r Linguistik, Universita¨t Leipzig 2000, s. 191–199.
[4] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Woronczak, Jerzy. Słownictwo
współczesnego języka polskiego. Listy frekwencyjne. Tom I. Teksty popularnonau-
kowe. Warszawa, 1974. Uniwersytet Warszawski.
[5] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Woronczak, Jerzy. Słownictwo
współczesnego języka polskiego. Listy frekwencyjne. Tom II. Drobne wiadomości
prasowe. Warszawa, 1974. Uniwersytet Warszawski.
[6] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Woronczak, Jerzy. Słownictwo
współczesnego języka polskiego. Listy frekwencyjne. Tom IV. Proza artystyczna.
Warszawa, 1976. Uniwersytet Warszawski.
[7] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Woronczak, Jerzy. Słownictwo
współczesnego języka polskiego. Listy frekwencyjne. Tom V. Dramat artystyczny.
Warszawa, 1977. Uniwersytet Warszawski.
[8] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Szafran, Krzysztof; Woronczak,
Jerzy. Słownik frekwencyjny polszczyzny współczesnej, Kraków, 1990. Instytut Ję-
zyka Polskiego PAN.
[9] Lewicki, Andrzej; Masłowski, Władysław; Sambor, Jadwiga; Woronczak, Jerzy.
Słownictwo współczesnego języka polskiego. Listy frekwencyjne. Tom III. Publicy-
styka. Warszawa, 1975. Uniwersytet Warszawski.
[10] Nazarczuk, Marta. Wstępne przygotowanie korpusu „Słownika frekwencyjnego pol-
szczyzny współczesnej” do dystrybucji na CD-ROM. Praca magisterska napisana
3
pod kierunkiem dra hab. Janusza S. Bienia. Warszawa, 1997. Instytut Języka Pol-
skiego Uniwersytetu Warszawskiego. 59 s., płyta CD.
[11] Ogrodniczuk, Maciej. Wykorzystanie SGML i TEI do zapisu polskich danych lingwi-
stycznych. Praca magisterska napisana pod kierunkiem dra hab. Janusza S. Bienia.
Warszawa, 2000. Instytut Informatyki Uniwersytetu Warszawskiego. 83 s., płyta
CD.
[12] Prósze´ky, Ga´bor. Humor (High-speed Unification Morphology). A Morphological
System for Corpus Analysis. Heile Rettig (ed.). Proceedings of the First European
Seminar Language Resources for Language Technology. Tihany, Hungary, Septem-
ber 15 and 16, 1995, pp 149–158.
[13] Saloni, Zygmunt. Słownik frekwencyjny polszczyzny współczesnej. ComputerWorld
4 listopada 1991, s. 16-17.
[14] Szafran, Krzysztof. Analizator morfologiczny SAM-95 — opis użytkowy. Maj 1996.
Instytut Informatyki Uniwersytetu Warszawskiego. ftp://ftp.mimuw.edu.pl/
pub/users/polszczyzna/SAM-95/.
[15] Robert Wołosz. Efektywna metoda analizy i syntezy morfologicznej w języku pol-
skim. Praca doktorska (promotor prof. dr hab. Zygmunt Saloni). Wydział Poloni-
styki, Uniwersytet Warszawski, Warszawa 2000.
4


Wzbogacony korpus Słownika frekwencyjnego polszczyzny  współczesnej

Ogrodniczuk, Maciej

Maciej Ogrodniczuk
Nowa edycja wzbogaconego korpusu
słownika frekwencyjnego
1. Wstęp
Dane korpusu frekwencyjnego zostały zebrane w latach 1963–1967 na pot-
rzeby badań nad częstością występowania wyrazów w języku polskim. Składa
się na nie 10 000 próbek po około 50 słów każda, czyli ogółem ok. 500 000 słów
z tekstów współczesnego języka pisanego, zgromadzonych w pięciu transzach
odpowiadających najważniejszym stylom polszczyzny pisanej. Wyniki dla
poszczególnych stylów zostały w latach 1974-77 udostępnione w postaci list
frekwencyjnych [13], natomiast w roku 1990 ukazał się słownik frekwencyjny
polszczyzny współczesnej w postaci tomu zbiorczego [14].
W roku 2001 autorzy wyrazili zgodę na udostępnienie korpusu na zasa-
dach licencji GNU (opisanej szerzej w dalszej części artykułu) i w konse-
kwencji było możliwe umieszczenie go w Internecie. Z inicjatywy Janusza
S. Bienia powstała płyta CD pod nazwą Wzbogacony Korpus Słownika Fre-
kwencyjnego [2], zawierająca oprócz danych korpusowych w wersji podstawo-
wej i rozszerzonej (wzbogaconej) także związane z nimi dodatkowe materiały
i dokumentację korpusu.
W chwili obecnej1 przygotowywane jest drugie wydanie tej płyty, po-
szerzone m. in. o dodatkowe narzędzia wspomagające przeglądanie tekstów
korpusowych. Informacja o sposobie pobrania aktualnej wersji obrazu płyty
z Internetu została omówiona w dodatku.
2. Wersje korpusu
Korpus słownika frekwencyjnego został zamieszczony na płycie w dwóch
wersjach. Pierwsza, nazywana wersją podstawową i zapisana w katalogu
Korpus surowy, zawiera oryginalne, dopisane ręcznie trzycyfrowe2 kody gra-
matyczne wraz z dodatkowymi oznaczeniami wyróżniającymi np. formy zło-
żone i nazwy własne (ich dokładny opis jest dostępny m. in. na płycie [10]).
Oto fragment próbki w wersji podstawowej:
1 Kwiecień 2003 r.
2 Jak wspominają autorzy korpusu w oryginalnej instrukcji redakcyjnej (patrz np. [8],
str. 177), na postać kodów wpłynęły ograniczenia komputera, na którym dane były orygi-
nalnie przetwarzane. Zainteresowanych historią obróbki zbiorów korpusowych odsyłam do
literatury cytowanej w zamieszczonym na płycie artykule wprowadzającym [9], np. [18].
1
37~Dziennik Bałtycki~02.10.1965~str. 1~kol. 7
W[66] imieniu dwu[32] tysięcy[122] studentów[122] Uniwersytetu
Warszawskiego[221] zgromadzonych[222] w[66] auli[161]
Auditorium[+]Maximum[&], rektor uczelni[121], profesor Stanisław[/]
Turski[/] powitał wicepremiera[141] Zenona[/][141] Nowaka[/][141].
Wersja wzbogacona, zapisana na płycie w katalogu Korpus wzbogacony,
powstała poprzez automatyczne uzupełnienie i rozbudowanie informacji mor-
fologicznej zgodnie z przyjętym rozszerzonym zestawem oznaczeń (opisuje je
szczegółowo zamieszczony na płycie artykuł [12], sam zaś przebieg prac przed-
stawiony jest w artykule [17]). Ze względów technicznych w wersji wzbo-
gaconej każda forma (lub zestaw form analizowanych jako całość) została
zapisana w osobnej linii pliku wraz z postacią hasłową, kodem oryginalnym
i rozszerzonym. Oto fragment cytowanej wyżej próbki w wersji wzbogaconej:
[...]
w[w,66,P-L----------P]
auli[aula,161,SSLF---------P]
Auditorium Maximum[auditorium maximum,,X------------P],
rektor[rektor,,SSNP---------P]
uczelni[uczelnia,121,SSGF---------P],
profesor[profesor,,SSNP---------P]
Stanisław[stanisław,,SSNP---------W]
Turski[turski,,X------------W]
powitał[powitać,,VS-M-3PON----P]
wicepremiera[wicepremier,141,SSAP---------P]
[...]
3. Fiszki i konkordancje
Oprócz opisanych powyżej wersji korpusu na płycie w katalogu Fiszki
zamieszczono dane wersji podstawowej w formacie naśladującym oryginalne
fiszki stosowane przez redaktorów słownika w postaci plików PDF (patrz
A.2). Pliki te występują w dwóch wariantach: bez kodów gramatycznych
oraz z kodami zapisanymi w tekście, bezpośrednio przy formach, do których
się odnoszą. W pierwszej edycji płyty w obu postaciach ze względów tech-
nicznych pominięte zostały dodatkowe oznaczenia klasyfikacyjne (np. w przy-
padku form wielowyrazowych opisywanych pojedynczym kodem gramatycz-
nym znajduje się on po ostatnim członie formy i mimo że odnosi się do
formy jako całości, nie jest w żaden sposób powiązany z poprzedzającymi
członami). W przygotowywanej edycji planuje się uwzględnienie oznaczeń
łączących formy wieloczłonowe.
Jako uzupełnienie danych przygotowana została również hasłowana kon-
kordancja wersji wzbogaconej korpusu. Katalog Konkordancje zawiera jej
dwie postacie — wersję bez lokalizacji form analizowanych (czyli bez identyfi-
kacji stylu i numeru próbki), podzieloną na przeszło 250 plików zawierających
poszczególne części zbioru analiz pogrupowanych alfabetycznie oraz konkor-
dancję z lokalizacjami, zawartą w pojedynczym pliku (o rozmiarze przekra-
2
czającym 60 MB). W konkordancjach uwzględniono wszystkie wystąpienia
form, zarówno te, którym udało się dopisać jednoznaczne analizy w postaci
rozszerzonej automatycznie, jak i te, dla których operacja ta nie była moż-
liwa.
4. Inne informacje na płycie
Katalog Dokumentacja zawiera teksty w postaci plików PDF opisujące
stosowane w oryginalnej wersji korpusu numeryczne kody gramatyczne, tech-
niczny opis prac nad wzbogacaniem tekstów korpusowych w opisy morfolo-
giczne zgodne z nowym, rozszerzonym zestawem oznaczeń oraz sam indeks
nowych oznaczeń morfologicznych. Płyta zawiera ponadto katalog Varia
z tekstami żródłowymi zamieszczonych artykułów, dotyczącymi korpusu pra-
cami magisterskimi Marty Nazarczuk [15] i moją [16], dokumentem umożli-
wiającym wydruk okładki do płyty i pewnymi dodatkowymi narzędziami.
5. Edytor Emacs jako narzędzie użytkownika płyty
Ważnym elementem nowej edycji płyty będzie gotowa do uruchomienia,
zaadaptowana z płyty CD [1] wersja dostępnego również na licencji GNU dar-
mowego edytora tekstów Emacs. To zaawansowane narzędzie edycyjne może
być przez użytkownika wykorzystane co najmniej do wygodnego przeglądania
i przeszukiwania plików korpusowych.
5.1. Wyszukiwanie przyrostowe
Jedną z zalet edytora Emacs jest tryb tzw. wyszukiwania przyrostowego,
W którym Emacs rozpoczyna przeszukiwanie już po wpisaniu pierwszych
znaków szukanego tekstu. Wyszukiwanie przyrostowe w treści otwartego
pliku dostępne jest po naciśnięciu kombinacji klawiszy3 CTRL+S
(od ang. search – przeszukiwanie) lub CTRL+R (ang. reverse search – przeszu-
kiwanie w tył), a następnie wpisaniu szukanego hasła. Ponowne naciśnięcie
CTRL+S po znalezieniu ciągu powoduje przejście do jego następnego wystąpie-
nia. W przypadku jego braku Emacs wyświetli komunikat Failing search
(niepowodzenie wyszukiwania).
Więcej informacji o trybie przyrostowym można znaleźć m. in. w obszer-
nej dokumentacji (w jęz. angielskim) dostępnej razem z edytorem.
5.2. Wyszukiwanie z wykorzystaniem wyrażeń regularnych
Wyrażenia regularne to wzorce wspomagające wyszukiwanie ciągów zna-
ków przy użyciu ustalonych symboli, np. reprezentujących dowolną literę,
cyfrę lub inną grupę znaków. Używając wyrażeń regularnych możemy prze-
szukiwać korpus na podstawie złożonych kryteriów, znacznie rozszerzających
możliwości wyszukiwania „dosłownego”.
3 CTRL+znak i CTRL+ALT+znak uzyskujemy poprzez przytrzymywanie klawisza CTRL
lub jednocześnie obu CTRL i ALT podczas wciskania klawisza znak.
3
Oto kilka przykładów zastosowania tego formalizmu (podane wyrażenia
nie są jedynymi właściwymi dla osiągnięcia żądanych wyników, tego rodzaju
kwerendy możemy zazwyczaj formułować na wiele sposobów):
\<droga\[2
Polecenie wyszukania wszystkich przymiotnikowych wystąpień formy droga
wraz z odpowiadającym im kodami.
Symbol \< oznacza początek słowa, co pozwala na uniknięcie wystąpień
w rodzaju niedroga; znak \ sygnalizuje dosłowne użycie znaku następnego
– tu: nawiasu kwadratowego, a 2 jest korpusowym oznaczeniem przymiot-
nika (tworzenie podobnych wzorców wymaga zapoznania się z zestawem
używanych oznaczeń morfologicznych, np. na podstawie artykułu [10]).
\<miejsc\w*\[1
Polecenie wyszukania wszystkich form gramatycznych słowa miejsce.
Symbol \w oznacza dowolną literę wchodzącą w skład słowa, znak gwiazdki
– powtórzenie poprzedzającej gwiazdkę litery dowolną liczbę razy (bądź
brak tej litery, czyli „powtórzenie 0 razy”), zaś 1 jest oznaczeniem rze-
czownika.
Warto zwrócić uwagę, że użycie powyższego wyrażenia spowoduje wy-
szukanie także form rzeczownika miejscowość (o ile wystąpiły w tekście)
— aby tego uniknąć, należy doprecyzować wyrażenie używając symbolu
alternatywy \|, tworząc wyrażenie w rodzaju \<miejsce\|\<miejsca.
\w+\[1\([0-9]\)\([0-9]\)\]\W+\w+\[2\1\2
Polecenie wyszukania przymiotników występujących po rzeczownikach
i zgadzających się z poprzedzającym rzeczownikiem w liczbie i rodzaju.
Znak plusa oznacza powtórzenie poprzedzającej litery 1 lub więcej razy,
wyrażenie [lista znaków] oznacza wystąpienie jednego ze znaków z listy
(tu: [0-9] to oznaczenie dowolnej cyfry), ciąg \(wyrażenie\) umożliwia
zapamiętanie wyrażenia do późniejszego użycia, znak \W zastępuje znak
nie wchodzący w skład słowa, zaś oznaczenia \1 i \2 umożliwiają przywo-
łanie odpowiednio pierwszego i drugiego zapamiętanego wyrażenia, w celu
zapewnienia zgodności przymiotnika w liczbie (druga pozycja w nawiasie
kwadratowym) i rodzaju (trzecia pozycja) z zapamiętanymi liczbą i ro-
dzajem występującego bezpośrednio wcześniej rzeczownika.
Emacs przełącza się w tryb wyszukiwania wyrażeń regularnych po naciś-
nięciu kombinacji CTRL+ALT+S, po której to kombinacji należy podać szukany
ciąg znaków.
Informacje w języku polskim dotyczące pełnych możliwości tego formali-
zmu można znaleźć w [11].
5.3. Tryb occur
Oprócz możliwości przeglądania wyników wyszukiwania wyrażeń regular-
nych bezpośrednio w tekście, może okazać się użyteczne sporządzenie wykazu
zawierającego wyłącznie te linie pliku korpusowego, które zawierają poszuki-
wane wyrażenie. Ten specjalny tryb jest szczególnie użyteczny w przypadku
wersji wzbogaconej korpusu, w której każda forma z analizą zapisana jest
w osobnym wierszu. Wywołujemy go wciskając ALT+X, następnie wpisując
4
słowo occur, naciskając ENTER i podając szukany wzorzec. Lista linii z jego
wyróżnionymi wystąpieniami zostanie wyświetlona w osobnym buforze.
Oto fragment wyniku wyszukiwania dwuczłonowych przyimkowych wy-
rażeń przysłówkowych (specyfikowanych wyrażeniem \[\w+ \w+,.*,D):
4954:od razu[od razu,,D------------P]
5234:na raz[na raz,,D------------P]
7022:od dawna[od dawna,,D------------P]
11556:na pewno[na pewno,,D------------P]
18428:raz po raz[raz po raz,,D------------P]
21471:jak najdalej[jak najdalej,,D------------P]
23264:na razie[na razie,,D------------P]
37343:co dzień[co dzień,,D------------P]
39067:na ogół[na ogół,,D------------P]
42813:na krótko[na krótko,,D------------P]
[...]
Liczby poprzedzające treść trafień to numery linii w pliku zawierających
kolejne wystąpienia poszukiwanego wzorca.
Bufor z wynikami wyszukiwania pozwala na łatwe obejrzenie kontekstu
każdego wystąpienia — po jego wskazaniu kursorem lub myszą na liście wy-
ników i naciśnięciu klawisza ENTER, ukaże się kontekst żądanego wystąpienia.
6. Dostępność danych
Jak wspomniałem we wstępie, korpus słownika frekwencyjnego jest do-
stępny na warunkach licencji GNU; wyboru tej podstawy prawnej autorzy
dokonali z inicjatywy Janusza S. Bienia. Właściwy korpus został udostęp-
niony na zasadach Powszechnej Licencji Publicznej GNU (ang. GNU Ge-
neral Public License — GPL [4], [5]), zaś fragmenty słownika frekwencyj-
nego stanowiące jego dokumentację na zasadach Licencji GNU Swobodnej
Dokumentacji (ang. GNU Free Documentation License — GFDL [6], [7]),
wydanych przez Fundację Oprogramowania Swobodnego (ang. Free Software
Foundation)4.
Licencja GPL posługuje się pojęciem oprogramowania swobodnego
(ang. free software), przez co rozumie się przyznanie wszystkim zaintere-
sowanym na mocy umowy prawnej pełnego prawa do uruchamiania pro-
gramu, jego kopiowania, rozpowszechniania i modyfikacji (co stanowi istotną
nowość w procesie licencyjnym — tego rodzaju umowy wprowadzają zwy-
kle ograniczenia na używanie i udostępnianie programów). Na co warto
zwrócić uwagę, oprogramowanie zostaje „wyzwolone” na różnych poziomach
użycia — powstaje nie tylko możliwość samego uruchamiania programu czy
dystrybucji jego kopii, ale także sprawdzenia użytych w nim konstrukcji aż
po prawo do jego modyfikacji i dystrybucji stworzonej przez siebie wersji.
Jedynym ograniczeniem wprowadzanym przez licencję jest konieczność
udzielenia odbiorcy redystrybuowanego oprogramowania oryginalnego lub
4 Termin free software jest często tłumaczony jako oprogramowanie wolne, przymiot-
nik swobodny wydaje się jednak lepiej oddawać jego charakter.
5
pochodnego wszystkich praw zapewnianych przez autora, co w praktyce
oznacza, że programy powstałe w wyniku modyfikacji źródeł dostępnych na
licencji GPL muszą być także dostępne na tych samych warunkach (z pełnym
prawem do udostępniania, modyfikacji i redystrybucji).
Licencja GFDL, oparta na GPL, umożliwia zapewnienie użytkownikom
praw do kopiowania i redystrybucji (z ewentualnymi zmianami) podręczni-
ków i pozostałych rodzajów dokumentacji. Podobnie jak w przypadku GPL,
dokumenty pochodne muszą zostać udostępnione na prawach licencji orygi-
nalnej. Dokumentacja podległa tej licencji może zostać, przy zachowaniu
określonych warunków, modyfikowana (w tym tłumaczona na inne języki),
kopiowana, wypożyczana i udostępniania do użytku publicznego.
A. Dodatek: Praca z płytą CD
A.1. Pobieranie obrazu i nagrywanie płyty
Aktualna edycja wzbogaconego korpusu słownika frekwencyjnego dostępna
jest w formie skompresowanego obrazu ISO płyty CD pod adresem http:
//www.mimuw.edu.pl/polszczyzna/. Po pobraniu pliku (jego rozmiar wy-
nosi ok. 50 MB) należy go zdekompresować i zapisać na płycie CD używając
dowolnego programu nagrywającego. Tak powstała płyta będzie mogła zo-
stać odczytana w dowolnym napędzie CD.
A.2. Format danych i uruchamianie płyty
Wszystkie zawarte na płycie pliki zapisane są w uniwersalnych, łatwych
do przetwarzania formatach. Pliki w formacie PDF można przeglądać i dru-
kować korzystając z darmowego programu Adobe Acrobat Reader, natomiast
pliki tekstowe — używając edytora Emacs.
Nowa edycja płyty zostanie skonfigurowana w taki sposób, by po włożeniu
jej do napędu CD-ROM Emacs uruchomił się automatycznie.
A.3. Informacje dla korzystających z poprzedniej edycji płyty
Użytkownicy poprzedniej edycji płyty pragnący wykorzystać możliwości
Emacsa w systemie MS Windows mogą pobrać go z Internetu, korzystając
z oryginalnej dystrybucji (http://www.gnu.org/software/emacs/windows/
ntemacs.html), bądź też wykorzystać Emacsa będącego częścią dystrybucji
TEXLive [3] lub przygotowanej przez Janusza S. Bienia płyty CD [1].
Literatura
[1] Bień, Janusz S. (red.). Wybrane narzędzia przetwarzania tekstów wieloję-
zycznych dla Windows 95/98/NT/2000 i komputerów PC. Wersja 0.93P —
grudzień 2001. Płyta CD-ROM. Skompresowany obraz płyty dostępny pod
adresem http://www.mimuw.edu.pl/~jsbien/wnptw/wnptw093p.iso.bz25.
5 Poprzednio http://www.orient.uw.edu.pl/wnptw/wnptw093p.iso.bz2. Adres
uaktualniony przy przygotowywaniu wersji elektronicznej artykułu.
6
[2] Bień, Janusz S.; Woliński, Marcin (red.). Wzbogacony korpus Słownika
frekwencyjnego polszczyzny współczesnej. Warszawa 2001. Płyta CD-ROM.
Skompresowany obraz płyty dostępny pod adresem http://www.mimuw.edu.
pl/polszczyzna/wksf/wksf.iso.bz2.
[3] TeX Live — TeX on CD-ROM. Płyta CD-ROM. Najnowsza wersja dystry-
bucji dostępna pod adresem http://tug.ctan.org/tex-archive/systems/
texlive/Images.
[4] GNU General Public License, wersja 2, czerwiec 1991, http://www.gnu.org/
copyleft/gpl.html.
[5] Powszechna Licencja Publiczna GNU, wersja 2, czerwiec 1991. Nieofi-
cjalne tłumaczenie [4] dostępne pod adresem http://gnu.org.pl/text/
licencja-gnu.html.
[6] GNU Free Documentation License, version 1.2, listopad 2002, http://www.
fsf.org/copyleft/fdl.html.
[7] Licencja GNU Wolnej Dokumentacji, wersja 1.1, marzec 2000, Nieoficjalne
tłumaczenie poprzedniej wersji [6] dostępne pod adresem http://gnu.org.
pl/text/GFDL-pl.html.
[8] Bień, Janusz S.; Szafran, Krzysztof. Analiza morfologiczna języka pol-
skiego w praktyce. Biuletyn Polskiego Towarzystwa Językoznawczego, ze-
szyt LVII (2001), s. 171-184. Autoryzowana wersja tekstu jest udo-
stępniona w Internecie w formacie PDF (http://www.orient.uw.edu.
pl/publikacje/JSB-KS-PTJ01.pdf) i Postscript (http://www.orient.uw.
edu.pl/publikacje/JSB-KS-PTJ01.ps).
[9] Bień, Janusz S.; Woliński, Marcin. Wzbogacony korpus Słownika frekwencyj-
nego polszczyzny współczesnej. W: [2], wksf.pdf.
[10] Bień, Janusz S.; Woliński, Marcin (red.). Numeryczne kody gramatyczne we
wzbogaconym korpusie Słownika frekwencyjnego polszczyzny współczesnej. W:
[2], Dokumentacja\kodynum.pdf.
[11] Friedl, Jeffrey E.F. Wyrażenia regularne, Warszawa 2001, Wydawnictwo He-
lion.
[12] Głowińska, Katarzyna. Taksonomia morfologiczna dla Słownika frekwencyj-
nego. W: [2], Dokumentacja\taksonomia.pdf.
[13] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Woronczak, Jerzy. Słow-
nictwo współczesnego języka polskiego. Listy frekwencyjne:
tom 1, części 1-2: Teksty popularnonaukowe;
tom 2, części 1-2: Drobne wiadomości prasowe;
tom 3, części 1-2: Publicystyka;
tom 4, części 1-3: Proza artystyczna;
tom 5, części 1-25: Dramat artystyczny. Warszawa 1974-1977, PAN.
[14] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Woronczak, Jerzy; Szafran,
Krzysztof. Słownik frekwencyjny polszczyzny współczesnej. Kraków, 1990. In-
stytut Języka Polskiego PAN.
[15] Nazarczuk, Marta. Wstępne przygotowanie korpusu „Słownika frekwencyj-
nego polszczyzny współczesnej” do dystrybucji na CD-ROM. Praca magister-
ska napisana pod kierunkiem dra hab. Janusza S. Bienia. Warszawa, 1997.
Instytut Języka Polskiego Uniwersytetu Warszawskiego.
[16] Ogrodniczuk, Maciej. Wykorzystanie SGML i TEI do zapisu polskich danych
lingwistycznych. Praca magisterska napisana pod kierunkiem dra hab. Janu-
sza S. Bienia. Warszawa, wrzesień 2000. Wydział Matematyki, Informatyki
i Mechaniki Uniwersytetu Warszawskiego.
7
[17] Ogrodniczuk, Maciej. Wzbogacenie korpusu słownika frekwencyjnego o nowe
kody gramatyczne. W: [2], Dokumentacja\taksonomia.pdf.
[18] Saloni, Zygmunt. Słownik frekwencyjny polszczyzny współczesnej.
W: ComputerWorld, s. 16-17. 4 listopada 1991.
8
Uwagi o wersji elektronicznej
Artykuł
Maciej Ogrodniczuk.
Nowa edycja wzbogaconego korpusu słownika frekwencyjnego.
Stanisław Gajda (red.),
Językoznawstwo w Polsce. Stan i perspektywy.
Polska Akademia Nauk — Komitet Językoznawstwa,
Uniwersytet Opolski — Instytut Filologii Polskiej.
Opole 2003, s. 181–190.
http://www.mimuw.edu.pl/~jsbien/MO/JwP03/
ISBN 83-86881-36-4
jest dostępny w formacie PDF (około 200 Kb)
http://www.mimuw.edu.pl/~jsbien/MO/JwP03/MO-JwP03.pdf
i PostScript (około 170 Kb)
http://www.mimuw.edu.pl/~jsbien/MO/JwP03/MO-JwP03.ps
Rekomendowany sposób cytowania niniejszego artykułu w formacie LATEX2e:
\bibcite{MO-JwP03}
Maciej Ogrodniczuk.
Nowa edycja wzbogaconego korpusu słownika frekwencyjnego.
Stanisław Gajda (red.),
\textit{Językoznawstwo w Polsce. Stan i perspektywy}.
% Polska Akademia Nauk --- Komitet Językoznawstwa,
% Uniwersytet Opolski --- Instytut Filologii Polskiej.
Opole 2003, s. 181--190.
\url{http://www.mimuw.edu.pl/~jsbien/MO/JwP03/}.
% ISBN 83-86881-36-4
Data przygotowania wersji elektronicznej:
12 grudnia 2003 r.


Nowa edycja wzbogaconego korpusu słownika frekwencyjnego

Spis treści -1
The 10th International
Conference of EAJS
EAJS Warsaw August 27-30,
2003
Free software
Free software: freedom 0
Free software: freedom 1
Free software: freedom 2
Free software: freedom 3
Free distribution
Software distribution
Debian GNU/Linux
Debian GNU/Linux
Debian: over 8 000 software
packages
GNU/Linux CJK support
http://www.suse.de/~mfabian/suse-cjk/
Jim Breen’s dictionaries
Kiten - browsing kanji
Kiten - kanji drill
Gjiten - Japanese/English
dictionary lookup
Gjiten - English/Japanese
dictionary lookup
Gjiten - kanji search by strokes
Gjiten - selecting a radical
Spis treści 0
Gjiten - kanji search by radical
Kanjipad (drawing kanji by
hand)
/var/lib/dpkg/available
/var/lib/dpkg/available
Debian package xshodo
Debian package chasen
Debian GNU/Linux
Knoppix revolution
Knoppix revolution
Japanese AIST Knoppix
Standard Knoppix
GNU Emacs
GNU Emacs – some features
GNU Emacs Japanese input
method
GNU Emacs on MS Windows
Conclusions
Errata to Book of Abstracts
Final remark
The 10th International Conference of EAJS 1
Janusz S. Bień
Warsaw University
Debian GNU/Linux
as a Japanese language teaching tool
EAJS Warsaw August 27-30, 2003 2
Debian GNU/Linux
http://www.debian.org
a GNU/Linux
distribution
Free software 3
Richard Stallman
Free Software Foundation
Free software is a matter of the users’
freedom to run, copy, distribute, study,
change and improve the software.
http://www.gnu.org/philosophy/free-sw.html
Free software: freedom 0 4
The freedom
to run the program,
for any purpose.
http://www.gnu.org/philosophy/free-sw.html
Free software: freedom 1 5
The freedom
to study how the program works,
and adapt it to your needs.
Access to the source code
is a precondition for this.
http://www.gnu.org/philosophy/free-sw.html
Free software: freedom 2 6
The freedom
to redistribute copies
so you can help your neighbor.
http://www.gnu.org/philosophy/free-sw.html
Free software: freedom 3 7
The freedom
to improve the program,
and release your improvements
to the public,
so that the whole community
benefits.
Access to the source code
is a precondition for this.
http://www.gnu.org/philosophy/free-sw.html
Free distribution 8
Debian GNU/Linux
a free
GNU/Linux distribution
Software distribution 9
A GNU/Linux distribution:
a complete software system
• GNU/Linux operating system
• application programs
Debian GNU/Linux 10
Debian
• free software
• the largest GNU/Linux distribution
• available for various hardware
Debian GNU/Linux 11
• Software:
over 8 000 packages
• Hardware:
· Intel x86 (PC),
· Motorola 680x0 (Atari, Amiga, Macintosh),
· PowerPC (Macintosh: iMac, . . . ),
· . . .
Debian: over 8 000 software packages 12
How to find software
related to Japanese language
and available in Debian?
GNU/Linux CJK support 13
http://www.suse.de/~mfabian/suse-cjk/ 14
Jim Breen’s dictionaries 15
Jim Breen
Monash University
School of Computer Science and Software Engineering
Electronic Dictionary Research and Development Group
http://www.csse.monash.edu.au/groups/edrdg/
Jim Breen’s dictionaries 16
. . . in February 2003 it was decided to
make the files more freely available for
use, both commercial and
non-commercial, subject to a number of
conditions mainly to ensure adequate and
appropriate acknowledgement.
Free of charge, but not free!
Kiten - browsing kanji 17
Kiten - kanji drill 18
Gjiten - Japanese/English dictionary lookup 19
Gjiten - English/Japanese dictionary lookup 20
Gjiten - kanji search by strokes 21
Gjiten - selecting a radical 22
Gjiten - kanji search by radical 23
Kanjipad (drawing kanji by hand) 24
/var/lib/dpkg/available 25
Debian package repositories:
• official
· free
· non-free (less freedom)
• unofficial
/var/lib/dpkg/available 26
Sample package descriptions:
xshodo
a virtual ”SHODO
- Japanese calligraphy” tool on X
chasen
a Japanese Morphological Analysis System
Debian package xshodo 27
XShodo, formerly known as XBakuzan, is a
program to enjoy a virtual ”SHODO” on X.
Without writing brushes ’fude’ and Indian
ink ’sumi’, XShodo may help you produce
the fine art of KANJI writing or painting.
Debian package chasen 28
ChaSen is a morphological analysis system.
It can segment and tokenize Japanese text
string, and can output with many additional
informations (pronunciation, semantic
information, and others). It will print the
result of such an operation to the standard
output, so that it can either written to a file
or further processed.
Debian GNU/Linux 29
Does Debian have
any drawbacks?
Quite difficult
installation!
Knoppix revolution 30
Knoppix revolution 31
Klaus Knopper
http://www.knopper.net/knoppix/
Japanese versions
http://unit.aist.go.jp/it/knoppix/
http://sourceforge.jp/projects/ya-knoppix-jp/
Japanese AIST Knoppix 32
Japanese AIST Knoppix 33
Standard Knoppix 34
Some support for Japanese
(and Polish)
available on standard Knoppix!
• GNU Emacs
GNU Emacs 35
GNU Emacs – some features 36
http://www.gnu.org/software/emacs/
• Content sensitive major modes for a wide
variety of file types, from plain text to source
code to HTML files.
• Complete online documentation, including a
tutorial for new users.
• Highly extensible through the Emacs Lisp
language.
• Support for many languages and their scripts.
GNU Emacs Japanese input method 37
GNU Emacs on MS Windows 38
WNPTW
Selected tools
for multilingual text processing
for Windows 95/98/NT/2000 and PC computers
Available on “as it is” basis!
CD-ROM image:
http:
//www.mimuw.edu.pl/~jsbien/wnptw/wnptw093p.iso.bz2
Conclusions 39
Debian GNU/Linux system, in particular Knoppix
or its variant, provides facilities needed for writing
and editing Japanese texts at no cost.
Migration to Debian can be done smoothly, by
starting to use the GNU Emacs editor on a
MS Windows-based computer.
Errata to Book of Abstracts 40
Missing references:
JSB01:
Janusz S. Bień: Teksty wielojęzyczne w edytorze
GNU Emacs [Multilingual texts in GNU Emacs
editor; in Polish]. Biuletyn GUST z. 16, r. 2001,
s. 3–13. ftp://ftp.gust.org.pl/TeX/GUST/
bulletin/16/JSB-Bach01.pdf.
MP01:
Michał Piskorski: Języki dalekowschodnie i pakiet
CJK [Far East languages and CJK package; in
Polish]. Biuletyn GUST z. 16, r. 2001, s. 14–19.
http://www.mimuw.edu.pl/~jsbien/MP/
MP-Bach01.pdf.
Final remark 41
Contact:
jsbien@uw.edu.pl
These slides are available as
http://www.mimuw.edu.pl/~jsbien/slajdy/
JSB-EAJS03-s.pdf


English

Debian GNU/Linux as a Japanese language teaching tool

Bogusławski, Andrzej

"Może" i "być może"

University of Warsaw

Not a member yet

O ,,pierwszym rozbiorze polszczyzny'', Radzie Języka Polskiego i normalizacji