Wstęp do systemów operacyjnych i sieci komputerowych - LAB

Technikalia

Termin: piątek, 8:30-10:00, LAB11 (3070), Prowadzący: Michał Adamaszek, Kontakt: aszek@mimuw.edu.pl

Zasady zaliczania:

Są trzy zadania, pierwsze większe (z basha) i dwa pozostałe mniejsze. Ocena z laboratorium jest w przybliżeniu równa
liczba_rozwiązanych_zadań + 2
W przybliżeniu tzn. na połówki stopnia mogą wpłynąć: jakość rozwiązania (w obie strony), gigantyczne spóźnienie, aktywność na ćwiczeniach itp. Ocena 3 to po prostu "zal", oceny od 4 w górę są uwzględniane jako pozytywny bonus do oceny z egzaminu.
Zmiana: będą tylko dwa zadania i oceny zostaną odpowiednio dopasowane.

Różne materiały:

Zajęcia 1, 5.10, Wprowadzenie

1. Ankieta. Proszę o wypełnienie so-ankieta.txt i wysłanie jej mailem na aszek@mimuw.edu.pl. Jej jedynym celem jest poznanie wstępnych umiejętności uczestników. Przy każdej opcji proszę wpisać liczbę od 0 do 3 (0 = w ogóle nie znam, 3 = znam dobrze):
2. Podstawy. Polecenie man. Poruszanie się po katalogach (cd, ls). Struktura katalogów w Linuxie.

Zajęcia 2, 12.10, Orientacja w środowisku: użytkownicy, uprawnienia, procesy...

Materiały. 1. Użytkownicy, uprawnienia. Użytkownicy, grupy (groups, finger, w, last, passwd). System plików: szczegóły polecenia ls (ls -al), prawa dostępu (rwx, polecenia chmod, chown, chgrp), dowiązania twarde i symboliczne (ln). Obsługa systemu plików: mv, cp, rm, touch, mkdir, pwd, du. Uwidacznianie typów plików w Midnight Commanderze.
2. Niektóre urządzenia specjalne. Często warto mieć pod ręką specjalne urządzenia, które wyglądają jak pliki n.p. /dev/null - zjada wszystko co się do niego pisze (czarna dziura), /dev/zero - można z niego czytać ciągle zera, /dev/urandom - podaje bajty pseudolosowe.
3. Procesy. Tworzenie i zabijanie, środowisko, PID procesu (ps, kill, top, free). Rodzice i dzieci, PPID procesu. Uruchamianie procesów w tle. Polecenia fg, bg, jobs.
4. Prywatna konfiguracja basha. Pliki ~/.bash_profile, ~/.bashrc i ~/.bash_history. Aliasy.
Ćwiczenia. Ćwiczenia dotyczące użytkowników najlepiej testować na maszynie students.
  1. Łańcuszek dowiązań symbolicznych może mieć co najwyżej długość 10 (sprawdź). Po co takie ograniczenie?
  2. Sprawdzić do jakich grup się należy. Do jakich grup należy prowadzący laboratorium?
  3. Poszukaj informacji o grupach i użytkownikach w katalogu /etc.
  4. Przetestować dokładnie jak działają uprawnienia w odniesieniu do katalogów. Np. załóżmy, że mamy katalog foo, w nim plik bar. Przy jakich kombinacjach uprawnień rwx do katalogu i pliku można odczytać zawartość pliku, stworzyć nowy plik w katalogu, odczytać zawartość katalogu? Co się stanie, jeśli wykonamy polecenie cat foo/bar nie mając uprawnienia r do katalogu? A co jeśli nie mamy x do katalogu? Poeksperymentować.
  5. Kiedy był ostatnio zresetowany komputer students?
  6. Czy można odebrać sobie wszystkie prawa dostępu do pliku? Załóżmy, że plik ma uprawnienia 0004. Co to znaczy, i czy jego właściciel może go wtedy odczytać? A skasować?
  7. Który podkatalog w Twoim katalogu domowym zajmuje najwięcej miejsca?
  8. Jak działa opcja -R w chmod i wielu tym podobnych poleceniach?
  9. Zmusić polecenie rm żeby nie dopytywało się o potwierdzenie usunięcia za każdym plikiem. Podobnie, zmusić do usuwania całych katalogów z podkatalogami.
  10. Kiedy ostatnio prowadzący laboratorium logował się na students?
  11. Wylistuj wszystkie pliki w katalogu posortowane po dacie ostatniej modyfikacji.
  12. Co robi polecenie tac? Skąd nazwa?
  13. Jak przy pomocy polecenia kill unicestwić wszystkie swoje procesy na raz? (Uwaga: wcześniej zachowaj wszystkie swoje dane :) ).Rozwiązanie
  14. Uruchom polecenie ps i omów łańcuch jego rodziców. Omów łańcuch rodziców serwera X. Jakie są kolejne procesy w tych łańcuchach?
  15. Kto jest rodzicem procesu przeniesionego w tło?
  16. Zastąp najczęściej używane przez siebie długie polecenia krótkimi aliasami.
  17. Zmodyfikuj odpowiednie pliki tak, aby przy każdym logowaniu wyświetlana była aktualna data i/lub godzina (hint: man date).

Zajęcia 3, 19.10, Polecenia, potoki

Materiały. 1. Najprostsze operacje na plikach tekstowych. cat, head, tail. Dalsze: wc, sort, uniq, cut.
2. Wejście/wyjście procesów. Standardowe wejście, wyjście i wyjście błędów. Operatory przekierowania wejścia/wyjścia z/do pliku/procesu: <, >, >>, |. Przetwarzanie w potokach (pipes).
3. Więcej poleceń stworzonych do użycia z operatorem | w potokach: sort, uniq, cut, wc, tr, head, tail, tee, echo, cat, nl, expand. Przykład:
who | cut -f1 -d" " | sort | uniq | wc -l
Polecenie podaje liczbę aktualnie zalogowanych użytkowników. Najlepiej przeanalizować go uruchamiając coraz dłuższe jego początkowe fragmenty. Inny:
ppc386 a.pas 2> /dev/null > a.txt
Kompiluje program a.pas przy czym wszystkie komunikaty o błędach wyrzuca do kosza, a wszystkie inne komunikaty kompilatora zapisuje w pliku a.txt (dzięki temu nic nie jest wypisane na ekran).
Ćwiczenia
  1. W pliku osoby.txt znajdują się: imię, nazwisko, płeć, PESEL i liczby punktów zdobyte za trzy zadania, te ostatnie oddzielone średnikami. Proszę napisać polecenia realizujące następujące zadania:
    1. Wypisać wszystkie różne nazwiska, posortowane alfabetycznie.
    2. Wypisać imiona i nazwiska wszystkich osób w kolejności alfabetycznej według nazwisk.
    3. Wypisać posortowane malejąco liczby punktów zdobyte za drugie zadanie.
    4. Znaleźć trzy najstarsze osoby i wypisać ich imię i nazwisko, przy czym najpierw wypisać kobiety a potem mężczyzn.
    5. Wypisać wszystkie różne miesiące (numerycznie) w których bohaterowie pliku mają urodziny.
    6. Wypisać liczbę różnych ocen za zadanie trzecie.
    7. Wypisać imiona i nazwiska osób posortowane malejąco według oceny uzyskanej za trzecie zadanie.
    8. Wypisać nazwiska osób z czterema najwyższymi wynikami za zadanie pierwsze.
    9. Zapisać wszystkie nazwiska do pliku n.txt, a PESEL-e do p.txt (jednym poleceniem).Rozwiązanie
  2. Wypisz nazwę i rozmiar największego pliku w katalogu domowym.
  3. Skonstruuj polecenie wypisujące 10 linię z pliku (chyba, że jest mniej niż 10 linii, wtedy wypisuje pierwszą).
  4. Skonstruuj polecenie wypisujące 10 linię z pliku (chyba, że jest mniej niż 10 linii, wtedy wypisuje ostatnią).
  5. Co zrobią polecenia "cat a > a" i "cat < a >> a" (Uwaga!)? Czym różni się "cat a > a" i "cat a | cat > a" ?
  6. Wziąć dowolny plik tekstowy i wypisać jego 20 pierwszych linii do jednego pliku, pierwszych 10 linii do drugiego i pierwsze 3 linie do trzeciego pliku (jednym poleceniem).
  7. Co robi polecenie tac? Skąd nazwa?
  8. Wyznacz długość najdłuższego polecenia, które "ostatnio" uruchomiłaś/eś. (Hint: co jest w pliku ~/.bash_history?. Co dalej?)
  9. Mamy plik liczby.txt a w każdym jego wierszu liczbę. Czy sort liczby.txt dobrze je posortuje? Jak to poprawić?
  10. Stwórz plik, w którym znajduje się kilka linii a w każdej imię, nazwisko i liczba (w tej kolejności). Następnie wypisz cały plik posortowany po każdej z tych zmiennych. Wypisz też same nazwiska i same imiona.
  11. Jak i po co działa tail -f?
  12. Czym są /dev/zero, /dev/random, /dev/urandom. Czym się róznią dwa ostatnie?

Zajęcia 4, 26.10, Skrypty I

Materiały. 1. Skrypty. Skrypt jest niczym innym jak pewnym (długim) poleceniem, które dla wygody, zamiast w jednej monstrualnie długiej linii poleceń, zapisujemy w pliku z wcięciami, komentarzami itp. Język programowania bash-a umożliwia (mniej więcej) użycie podobnych struktur sterujących jak inne języki imperatywne. Ogólna konstrukcja skryptu, składnia. Ściągnij przykładowy skrypt: sample_script.
1a. Zmienne i parametry. Deklarowanie i odwołania do zmiennych. Zmienne środowiska $USER, $HOME. Parametry skryptu ($1, ...), zmienne specjalne ($*, $# - lista i liczba parametrów).
1b. Sterowanie. Pętle for, while, polecenia seq, read. Instrukcja wyboru case. Instrukcja warunkowa if i polecenie test, [ ] wraz ze sprawdzaniem warunków logicznych, porównaniami i licznymi opcjami. Polecenie sleep.
1c. Obliczenia. Wykonywanie obliczeń arytmetycznych, $[].
Ćwiczenia
  1. Ogólne:
    1. Napisz skrypt, który co 5 sekund wyświetla liczbę aktualnie zalogowanych użytkowników.
    2. Napisz skrypt, który wypisze rozmiar każdego katalogu, który został podany jako parametr (niektóre parametry mogą być śmieciami).
    3. Wypisać tekst Dzisiaj jest... po czym nastąpi bieżąca data.
    4. Wypisać 10 linii tekstu, przy czym zawartością i-tej linii ma być dokładnie i liter "A".
    5. Napisać skrypt, który sprawdza, czy dostał dokładnie 2 parametry i jeśli nie, to krzyczy na uzytkownika.
    6. Napisać skrypt obliczający sumę k-tych potęg liczb od 1 do n, gdzie k i n są naturalne i są podane jako parametr skryptu. Obsłużyć błędy w stylu: nadmiar lub niedobór parametrów, ujemne parametry.
    7. Wypisać na ekran po jednej (np. pierwszej) linii z każdego pliku w bieżącym katalogu.
    8. Napisz skrypt, który wypisze swoje parametry posortowane alfabetycznie (możesz chcieć użyć polecenia tr).
    9. Napisz skrypt, który zliczy liczbę podkatalogów, plików różnego typu (wykonywalnych, nie) i dowiązań symbolicznych w katalogu podanym jako parametr po czym wypisze stosowną statystykę.
    10. Mamy kilka plików, w każdym kilka liczb, po jednej w wierszu. Z każdego pliku chcemy wybrać największą liczbę, a następnie te największe liczby wypisać w kolejności rosnącej. Jak to zrobić? Nie chcemy używać żadnych plików tymczasowych.
  2. osoby.txt
    1. Oblicz łączną liczbę punktów zdobytych za zadania 1,2,3 przez wszystkie osoby.
    2. Wypisz dane osoby, która zdobyła najwięcej punktów w sumie.
    3. Napisz skrypt, który przekształci osoby.txt w plik z tymi samymi danymi a dodatkowo na końcu każdej linii doda czy osoba zaliczyła, czy nie, zależnie od sumy punktów. Nazwa pliku docelowego jest parametrem skrytpu.
    4. Skrypt, który jako parametr dostaje słowo "imie", "nazwisko" lub "pesel" i wypisuje dane osób posortowane właśnie według tego klucza.
    5. Skrypt, który dane każdej osoby zapisze do innego pliku zatytułowanego nazwiskiem tej osoby.
  3. Wpadki. Każdy z poniższych krótkich skryptów działa w szczególnych przypadkach nie tak jak byśmy chcieli (np. nie działa). Jak to poprawić?
    1. echo $10
    2. cat $1
    3. if [ $a == $b ] then ....
    4. for linia in $(cat plik); do echo kolejna linia to $linia; done
    5. echo Tekst (z kawalkiem w nawiasie)

Zajęcia 5, 09.11, Skrypty II

Skrypty, cd. Funkcja read i idiomatyczna konstrukcja służąca do przetwarzania pliku wiersz po wierszu:
cat $nazwa_pliku | while read wiersz; do zrób_coś_z_$wiersz; done
Funkcje w skrypcie i przesuwanie parametrów (shift). Przykład na końcu sample_script.
Dzisiaj:

Zajęcia 6, 16.11, Wyrażenia regularne i Grep

Materiały 1. Wyrażenia regularne. Wyrażenie regularne to wzorzec, który opisuje język, tzn. zbiór słów, które do tego wzorca pasują. Operacje na wzorcach: konkatenacja, powtarzanie, alternatywa. Przykład: abc*(a|d) - słowa zaczynające się od ab po których następuje kilka c a następnie a lub d.
2. Gwiazdka w bashu. Rozwijanie symbolu * przez interpreter (np. ls *.txt).
3. grep służy do znajdowania linii pasujących do wzorca (lub których część pasuje do wzorca), lub przeczesywania listy plików w poszukiwaniu pasujących do wzorca. Egrep ma przyjaźniejszą składnię wyrażeń regularnych. Podstawowe konstrukcje: *, +, {n} - liczność powtórzenia poprzedniego symbolu, [] - zbiór symboli, | - alternatywa, . - dowolny symbol, [^] - dopełnienie zbioru symboli, ^, $ - początek, koniec wiersza. Grep-a można używać wewnątrz potoku lub podając listę plików. Bardzo liczne opcje grepa pozwalają modyfikować jego wyjście. Szczegóły w manie. Przykłady: 4. Ćwiczenia
  1. Napisz wyrażenia regularne rozpoznające następujące zbiory słów (abstrakcyjnie a potem w składni egrep-a):
    1. zawierających co najmniej dwie spośród liter a,b,c
    2. nie zawierających żadnej cyfry
    3. takich, że po każdym wystąpieniu litery a jest cyfra
    4. PESEL-e osób urodzonych w latach 80-tych w lipcu
    5. loginy na students osób o imieniu na literę pomiędzy D i W
    6. zawierających parzystą liczbę liter a
    7. ciągi cyfr w których każda następna cyfra jest większa od poprzedniej
    8. zawierających fragment który składa się z co najmniej 5 cyfr pod rząd
    9. komentarze w języku C lub Pascalu
  2. Zaopatrzywszy się w plik passwd znajdź:
    1. Nazwiska studentów zaczynające się na "A".
    2. Nazwiska studentów dłuższe niż 12 znaków i to takie, które nie są podwójne (bez myślnika).
    3. Największy numer indeksu mniejszy niż 200000 i jego posiadacza.
    4. To samo, ale wśród studentów JSIM.
    5. Prawdziwe ,,osoby'', tzn. odrzuć konta usług, roota, Archeologii, ,,Maszynę w domenie LK'' i tym podobne. Jak wygodnie zdefiniować ,,osobę''?
    6. Studentów (odrzuć pracowników).
    7. Liczbę osób mających imię zaczynające się na literę między D i G.
    8. Listę imion osób, których nazwiska zaczynają się na R.
    9. Nazwiska osób, których numery indeksu są podzielne przez 5.
    10. Napisz skrypt, który dostając nazwisko znajduje nazwisko studenta poprzedniego w porządku alfabetycznym.
    11. Osoby których imię zaczyna się na tę samą literę co nazwisko (wskazówka: wsteczne dopasowania).
  3. Ze wszystkich plików w bieżącym katalogu wyodrębnij linie w których znajduje się jakaś liczba (oddzielnie, otoczona białymi znakami) (wypisz tylko te linie, bez dodatkowych napisów takich jak nazwa pliku).
  4. Wypisz listę osób aktualnie zalogowanych na students, które zalogowane są z komputerów poza siecią wydziału lub UW (na tyle na ile to się da łatwo stwierdzić, czyli bez przesadnej skrupulatności).
  5. Pójdź dzisiaj o 16:00 na koncert Marianny Bednarskiej.

Zajęcia 7, 23.11, Uzupełnienia, ćwiczenia, practice makes master...

1. shift. Przesuwanie parametrów. Napisz skrypt, który wypisze kolejno wszystkie swoje parametry, korzystając tylko ze zmiennej $1, bez odwołań do zmiennych $@ i $#.
2. Funkcje w skrypcie. Funkcja (na końcu sample_script) to jak osobny skrypt i tak też ją wywołujemy. Wynik zwraca przez return, dlatego trzeba go później odczytać ze zmiennej $?. Podobnie można wywołać dowolny skrypt, program, etc.
3. Skrypty zagnieżdżone. Popatrz na fragment:
cat plik | ( while read trescLinii
do
   echo kolejna linia to $trescLinii
done )
 W nawiasy ujmujemy osobny skrypt, który równie dobrze mógłby być umieszczony w osobnym pliku, albo w funkcji.
4. Ładne użycie switch do rozpoznania co ma robić skrypt zależnie od pierwszego parametru. Patrz dowolny skrypt w /etc/init.d.
5. date. Pozwala dowolnie sformatować datę dowolnego dnia. Przykłady: 6. Mantra... $HOME, przekierowania do pliku, operatory porównania: -eq, -lt, -gt, -ne, ==, !=, operatory logiczne: -a, -o, !, man test, uwaga na spacje, skomplikowane parametry bierz w cudzysłów, zwykle pobieramy wyjście polecenia: "$(polecenie)", rzadziej pobieramy wynik polecenia: "polecenie; wynik=$?", problemy ze składnią - patrz sample_script, korzystaj z narzędzi tekstowych w potokach
7. Dla zainteresowanych: sed Dobre materiały: Przykłady:
  1. echo dadada | sed s/da/la/    (s - substitute)
  2. echo dadada | sed s/da/la/g    (g - globally)
  3. echo 11 12 13 | sed s/[0-9]*/liczba &/    (& - dopasowany tekst)
  4. echo ss 11 12 13 | sed 's/[0-9][0-9]*/liczba &/3'    (/3 - które dopasowanie)
  5. echo aaaaaaababababababab | sed -e 's/a/x/g' -e 's/b/y/g'    (kilka zamian na raz)
  6. echo aaaaaaababababababab | sed -e 's/a/b/g' -e 's/b/y/g'    (uwaga!!)
  7. cat plik | sed '10,20 s/a/b/'    (wykonaj akcję w liniach 10-20 pliku)
  8. cat plik | sed '/[0-9]/ s/a/b/'    (wykonaj akcję w liniach zawierających cyfrę)
  9. cat plik | sed '10,20 { /[0-9]/ s/a/b/ }'    (wykonaj akcję w liniach zawierających cyfrę pomiędzy linią 10 i 20)

Zajęcia 8, 30.11, Fork()

Materiały Uwagi dla piszących w języku C. Należy załączać pliki nagłówkowe unistd.h, sys/types.h, sys/wait.h

1. Procesy. Przypomnienie o procesach, PID-ach, poleceniu ps.
2. fork(). Funkcja fork() służy do tworzenia nowego procesu, który dziedziczy wszystko po rodzicu: pamięć, deskryptory plików, zmienne itp. Wartość zwracana wskazuje w którym procesie jesteśmy (w rodzicu - PID potomka, w potomku - 0). Oba procesy wznawiają wykonanie w tym samym miejscu.
3. wait(). Kulturalny proces powinien czekać na zakończenie jego potomków. wait() czeka na dowolnego, waitpid(int pid,...) na konkretnego. Funkcja jest blokująca.
4. Inne funkcje. Nazwy mówią same za siebie: getpid(), getppid(), halt, exit... Ponadto, do osiągnięcia efektu wstrzymania procesu na chwilę: sleep(secs), wymaga nagłówka unistd.h.
5. Błędy. Obsługa błędów mogących powstać przy używaniu wywołań systemowych. Standardowe zachowanie tych funkcji: zwraca coś nieujemnego jeśli OK, -1 jeśli błąd, przy czym kod błędu jest zapisywany w zmiennej globalnej errno.
6. Ćwiczenia.

Zajęcia 9, 7.12

Materiały Materiały dla Pascala: Nazwy funkcji z C są takie same poza zmianą pipe-->AssignPipe. Funkcje tworzenia łączy mogą od razu działać na łączach typu text, co potem umożliwia użycie na nich standardowo WriteLn, Read itp. i jest wygodniejsze niż odwoływanie się poprzez numery, ale być może trzeba pamiętać o częstym wykonywaniu flush, przez nazwę można się też odwoływac do standardowych deskryptorów input i output.
1. exec*() uruchamia nowy zadany program w miejsce naszego, ale z zachowaniem dotychczasowego PID, rodzica i deskryptorów. Pamięć starego programu jest natomiast likwidowana. Składnia:
execl(nazwa_progr, param0, param1, ...., NULL)

2. Deskryptory. Tablica deskryptorów, standardowe deskryptory 0 (stdin) i 1 (stdout). Można tworzyć nowe pary deskryptorów (łącza nienazwane) funkcją pipe - jeden do pisania, drugi do czytania. Pisanie i czytanie z nich przez funkcje write, read. Składnia: Mozna też nałożyć na nie strukturę FILE (w języku C) i pisać przez scanf, printf, a może i cin, cout. Deskryptor (dowolny) zamykamy close.
3. dup(), dup2() - powielanie deskryptorów.
4. fork-dup-exec. Standardowy sposób tworzenia łącza komunikacyjnego między procesem i jego potomkiem. Tworzymy parę par (tzn. dwa wywołania pipe) deskryptorów do komunikacji (ew. tylko jedną parę jeżeli chcemy komunikację tylko w jedną stronę); w procesie potomnym duplikujemy je na standardowe we/wy i odpalamy w procesie potomnym nowy program, który przez standardowe we/wy rozmawia teraz z rodzicem. Szczegóły w przykładzie.
5. Ćwiczenia na opanowanie składni i działania funkcji pipe, dup i exec.

Zajęcia 10, 14.12

1. Ćwiczenia: Co się dzieje przy czytaniu z pustego pliku (albo przy próbie czytania po osiągnięciu końca pliku)? Co jest wynikiem funkcji read? Co się dziej przy czytaniu z pustego łącza? Co się dzieje przy czytaniu z pustego łącza do którego nie ma żadnych otwartych deskryptorów do pisania? Kiedy funkcja read blokuje się, a kiedy nie?
2. Nagłówek programu. W programie, tak jak w skrypcie, można odwołać się do argumentów wiersza poleceń. W C poprzez parametry funkcji main:
int main(int argc, char **argv)
gdzie argc to liczba parametrów, a argv to tablica z kolejnymi parametrami jako napisami. Funkcja atoi przekształca napis na liczbę, na przykład:
int x = atoi(argv[3]);
Tutaj jest napisane jak to zrobić w Pascalu.
3.Uwaga! W każdym języku są inne sposoby odwoływania do argumentów wiersza poleceń, do środowiska, wywoływania funkcji systemowych, dostępu do wejść/wyjść itp. Sposób zapisywania i przeprowadzania tych operacji należy poznać ucząc się danego języka programowania (jego składni), natomiast schemat ich działania (fachowo: semantyka) jest zawsze taki sam (taka sama), bo prędzej czy później sprowadza się do wywołania funkcji systemowych, które są wspólne dla wszystkich.
4. Ćwiczenia z poprzednich zajęć.

Zajęcia 11, 4.01, IP, DNS, telnet...

Materiały 1. Adresowanie. Struktura adresu IPv4. Polecenie ifconfig, klasy adresowe, maska podsieci. Adresowanie IPv6.
2. DNS. Domeny, serwery DNS, translacja nazw. Hierarchiczna struktura domen. Znajdowanie serwera nazw domeny. Odpytywanie serwerów nazw: host, nslookup. Typy wpisów konfiguracyjnych serwera DNS (czwarta kolumna w host -v: NS, MX, TXT, A itp.). Opcje host -t typ_zapytania, host -t any, host -a pozwalają poznać bardziej szczegółowe dane. Plik /etc/resolv.conf.
3. Organizacja adresów IP na świecie. RIR-y i LIR-y. Europejski RIR: RIPE oraz jego baza Whois: http://www.ripe.net/whois. Znajdowanie informacji o domenie lub zakresie adresowym poprzez bazę Whois.
4. Porty, usługi, protokoły. Port jest pojęciem umownym, w zasadzie liczbą. Łącząc się ze zdalnym hostem łączymy się z jakimś jego portem. Standardowe usługi (services) sieciowe używają standardowych portów, ich lista jest w /etc/services (np: HTTP-80, SMTP-25, POP3-110, SSH-23, FTP-21, NNTP-119). Podstawą łączenia ze zdalnym hostem jakimkolwiek protokołem jest polecenie telnet nazwa_hosta nazwa_portu. Dalej następuje interakcja za pomocą protokołu odpowiedniego dla danej usługi.
6. RFC. Skąd wiadomo, jaki jest protokół dla danej usługi? Celem dokumentów RFC jest m.in. standaryzacja różnorakich protokołów. Aktualnie RFC3700 zawiera listę bieżących numerów RFC dla poszczególnych usług.
Ćwiczenia.
  1. Podaj zakres adresów należących do podsieci opisanej jako 213.130.23.0/8.
  2. Pewien komputer o adresie 130.10.10.23 należy do podsieci o masce 255.255.255.240. Ile numerów ma pula adresowa tej podsieci? Czy należy do niej adres 130.10.10.30?
  3. Który komputer na wydziale ma adres 10.1.1.143 ?
  4. Znajdź adresy IP poszczególnych komputerów wydziałowych: students, duch. A zodiac?
  5. Znajdź w bazie whois informacje o domenach: mimuw.edu.pl, edu.pl, pkp.pl itp.
  6. Używając jedynie polecenia host znajdź numer telefonu do firmy obsługującej serwis onet.pl. Zrób to samo przy pomocy baz whois.
  7. Znajdź dostawcę internetu do którego puli adresów przynależy adres 80.252.0.145. A 80.251.0.145?
  8. Dowiedz się o serwery nazw domeny mimuw.edu.pl.
  9. Znajdź numer IP komputera students widzianego spoza sieci wydziału?. Odpytaj poleceniem host odpowiedni serwer DNS (który?).
  10. (!) Wyślij do prowadzącego (na adres aszek@mimuw.edu.pl) maila przy użyciu wyłącznie programu telnet. W tym celu zapoznaj sie ze skróconym opisem protokołu SMTP: http://www.cs.cf.ac.uk/Dave /PERL/node175.html. Z jakim serwewem należy się połączyć aby wysyłać pocztę? Użyj fikcyjnego nadawcy maila (np. kubus.puchatek@o2.pl)
  11. (!) Ściągnij jakąś stronę przez HTTP używając tylko telnet-u. Szybkie wprowadzenie do protokołu HTTP:http://www.jmarshall.com/easy/http/
  12. Nie całkiem serio: RFC2324, RFC1882, RFC2550, RFC3092, RFC1437.

Zajęcia 12, 11.01

Materiały 1. Poczta. Polecenie mail jest przydatne do wysyłania poczty np. ze skryptu. Jest (trochę) bardziej zaawansowane niż telnet na port 25. Standardowe użycie:
echo "Tresc maila" | mail -s "Temat maila" adresat@gdzies.pl
Można dodać załącznik (-a), (blind) carbon copies (-b, -c), zmienić adres w polu From: (-r) etc.

1a. MTA. Czyli Mail Transfer Agent. Można wysłać maila uruchamiając kopię serwera pocztowego (sendmail, man sendmail) i przekazując mu treść listu (wraz z nagłówkiem) na wejście. Stąd schemat automatycznej odpowiadaczki: weź list, wygeneruj nagłówek automatycznej odpowiedzi, następnie wygeneruj treść listu i przekieruj to wszystko na wejście sendmaila.
2. Organizacja poczty. Przechowywanie: mailboxy i maildiry, różnice między nimi. Mailboxy i maildiry nadają się do ręcznego przeglądania, np. grep-em.
3. Struktura pojedynczej wiadomości. E-mail (SMTP/POP3/IMAP) opiera się na protokołach całkowicie tekstowych, nagłówek wiadomości zawiera wszystkie pola niezbędne do jej dostarczenia i dodatkowe informacje, dalej treść. Załączniki są częścią treści. Najważniejsze pola: From:, To:, Subject:, Cc:, Bcc:, Reply-To: Message-ID:, Received:.
UWAGA. Używając narzędzi opisanych poniżej należy bardzo uważać, aby nie doprowadzić do nieskończonej pętli mailowej! W razie czego należy szybko usunąć plik .forward.
5. Mechanizm .forward. Pomiędzy otrzymaniem maila przez serwer pocztowy a dostarczeniem go do skrzynki użytkownika można go jakoś przetworzyć. Najbardziej podstawowy mechanizm polega na umieszczeniu w katalogu domowym pliku .forward z podaną pewną akcją. Akcja ta zostanie zastosowana do każdego nadchodzącego maila. Może to być adres e-mail na który mail należy przesłać, nazwa programu (po symbolu pipe-a |) którym należy go obsłużyć, lub kilka akcji oddzielonych przecinkami. Przykład pliku .forward:
jasio@o2.pl, "| head -1 >> ~/pierwsze.txt"
Spowoduje on przeforwardowanie każdego nadchodzącego maila do jasia oraz dopisanie pierwszej linii maila (co to za linia?) do pliku pierwsze.txt.
6. procmail. Jest to bardziej zaawansowany filtr poczty. Aby go uaktywnić kierujemy w .forward wszystkie maile do tego programu: |procmail Po nadejściu maila procmail czyta go i dopasowuje do reguł zawartych w pliku konfiguracyjnym .procmailrc (uprawnienia 0600). Jeżeli dopasowanie do jakieś reguły sie uda wykonywana jest akcja związana z tą regułą i przetwarzanie się kończy (z jednym wyjątkiem o którym dalej). Jeżeli po przejrzeniu wszystkich reguł maila nie udało się do żadnej dopasować to trafia on w najzupełniej zwyczajny sposób do skrzynki pocztowej. Reguła jest wyrażeniem regularnym do którego jest dopasowywana treść maila (dokładnie jak z grep-em). Akcja to nazwa mailboxa lub pliku do którego ma być zapisany mail lub polecenie na którego standardowe wejście ma być przekazany mail.
7. Reguły procmaila. Składnia pojedynczej reguły (z grubsza):
:0 flagi
* wyrazenie_regularne
akcja
Na przykład:
:0
* From:.*aszek.*mimuw.*
/dev/null
 wrzuci wszystkie maile od prowadzącego zajęcia tam, gdzie ich miejsce. Inne:
:0 c
* From:.*aszek.*
| grep Subject >> ~/from-aszek.txt
 zapisze wszystkie tematy maili otrzymanych od aszka do odpowiedniego pliku. Flaga "c" oznacza, że nawet po udanym dopasowaniu do tej reguły przetwarzanie pliku ma być kontynuowane. Wniosek: użycie flagi "c" przy wszystkich regułach spowoduje że list i tak trafi do standardowej skrzynki (i może przy pierwszych próbach z procmailem lepiej się tego trzymać). Możliwe akcje: | skrypt - przekazuje maila na wejście programu/skryptu, ! adres - forwarduje maila na podany adres, nazwa_pliku - zapisuje maila do podanego pliku. Więcej przykładów w man procmailex. Tam też bardziej zaawansowana kontrola reguł przetwarzania (flagi) i bardziej skomplikowane warunki.
8. formail. Wyciąganie poszczególnych danych z maila oraz przekształcanie maili ułatwia program formail. Działanie: wybieranie określonych pól z nagłówka, lub ekstrahowanie treści (body) maila, generowanie nagłówków nowych wiadomości na podstawie innych wiadomości, generowanie nagłówków wiadomości z zadanych pól. Formail czyta z wejścia i pisze na wyjście.
Ćwiczenia.
  1. Obejrzyj swój maildir na students: katalog ~/Mail.
  2. Przejrzyj jakiś plik z mailem ze swojego maildira. Zwróć uwagę na nagłówek i zinterpretuj jak najwięcej pól.
  3. Wyszukaj w swoim maildirze (lub w mailboxach pine-a jeżeli je masz, w katalogu ~/mail) maile pochodzące od określonego nadawcy, mające określony temat itp. Dla każdego znalezionego wpisu wypisz jakis początkowy fragment maila (grep -A)
  4. (!) Wyślij do prowadzącego maila zawierającego kolejno wszystkie liczby naturalne od 1 do 100.
  5. Weź plik z dowolnym mailem i poobrabiaj go programem formail. W szczególności:
  6. Uaktywnij na swoim koncie na zodiacu procmaila i napisz następujące reguły. Na wszelki wypadek pamiętaj o opcji c.
  7. Zobacz w man procmailex schemat automatycznej odpowiadaczki. Co oznaczają opcje -oi -t przy uruchomieniu sendmaila?
  8. Załóżmy, że nie chcemy odpowiadać wszystkim, ale tylko na maile pochodzące z domeny mimuw. Jak to zrobić?
  9. Zajrzyj do /etc/procmailrc - globalnego pliku konfiguracyjnego procmaila.
  10. Napisz filtr, który wszystkie maile większe niż 100kB wrzuca do osobnego pliku.
  11. Częściowe uproszczenie wysyłania automatycznej odpowiedzi można uzyskać przy użyciu programu vacation (sama nazwa wskazuje jego działanie). Zapoznaj się z man vacation.

Zajęcia 13, 18.01

Synchronizacja -- omówienie w kontekście zadania laboratoryjnego nr 2
Sesja Q & A przed egzaminem. Materiały:
Przed egzaminem: egzamin z 2003, slajdy z 2005
Lista pojęć wypisanych ze slajdów (uwaga, być może nie pokrywa się w pełni z tegorocznym wykładem.)

Zajęcia 14, 25.01, Kryptografia, bezpieczeństwo

1.Szyfrowanie z kluczem publicznym i RSA. Klucz publiczny jest jawny, klucz prywatny stanowiący jego parę tajny. Działanie kluczy jest przemienne. Wysyłający koduje wiadomość kluczem publicznym odbiorcy. Wszystko opiera się na trudności odtworzenia klucza prywatnego z publicznego. Najbardziej znany algorytm szyfrowania asymetrycznego (RSA), opiera sie na trudności rozkładu liczb na czynniki.
2. PGP Pretty Good Privacy (w wersji gnu: gpg). Pakiet szyfrowania asymetrycznego. Najpierw trzeba wygenerować sobie klucz oraz zaimportować klucze publiczne osób, którym chcemy wysyłać szyfrowane wiadomości (lub od których chcemy odbierać wiadomości). Można szyfrować dowolny plik. (Szczegóły: man gpg) 3. Haszowanie, funkcje skrótu. Taka funkcja wylicza skrót (np. 128-bitowy) dowolnie dużej porcji danych (np. pliku). Przy tym prawdopodobieństwo kolizji powinno być niezwykle niskie. Popularne funkcje skrótu: MD5, SHA.
4. Po co funkcje skrótu? Podpisywanie dokumentów. Jak za pomocą mechanizmów z kluczem publicznym zapewniać autentyczność wiadomości (tzn. potwierdzać jej autorstwo). Mam wiadomość i szyfruję ją swoim kluczem prywatnym. Wtedy wiadomo, że to ja ją podpisałem. W praktyce podpisuje się jedynie sktót wiadomości, bo tak jest szybciej. Potem porównuje się skróty.
5. SSH. Także SSH szyfruje komunikację. Jeżeli ustalimy klucze i poinformujemy serwer o naszym kluczu publicznym, to bedziemy mogli się logować nie podajac hasła, a jedynie klucz prywatny (ssh poda klucz za nas). (Szczegóły: man ssh, man ssh-keygen)
6. SSL, TLS. Techniki kryptograficzne pozwalają na szyfrowanie komunikacji dowolnym protokołem, np. HTTP-->HTTPS (włącz np. Usosweb).
7. To jeszcze nie koniec: