ZALOGUJ SIĘ

Czym i w jaki sposób różni się algorytm stosowany w eTutor od tego w Anki?

5 lat temuostatnia aktywność: 4 lata temu
Czym i w jaki sposób różni się algorytm stosowany w eTutor od tego w Anki? Z tego co wiem, to Anki korzysta z algorytmu SM2, czyli jednego z pierwszych algorytmów Supermemo.
rmoszumanski

Wykup dostęp, aby dodać komentarz.

 

Odpowiedzi: 19

Domyślam się, że chodzi o algorytm rozkładania powtórek w czasie.
Nie znam algorytmu z Anki - spróbujesz go opisać?
Wówczas mógłbym spróbować coś porównać. Algorytm eTutora znam z własnej obserwacji, dociekań i lektury postów innych użytkowników. Twardej wiedzy brak, eTutor zwykle nie podejmuje tematu.
parseq

Wykup dostęp, aby dodać komentarz.

Dokładnie, chodzi o algorytm rozkładający powtórki w czasie.

W skrócie, jednym z pionierów oprogramowania SRS jest Piotr Woźniak - twórca Supermemo. To właśnie on zapoczątkował i zaimplementował pierwsze algorytmy o skrótach SM.

SM2 była drugą wersją jego pierwotnego pomysłu. Mówimy chyba o latach 80 bądź 90. Obecnie, większość aplikacji jakie znamy np. Anki, Memrise działa na SM2 (jest on ogólnodostępny). Jest on dość prosty w implementacji i odporny na błędy. W danej chwili jego najnowszym tworem był SM17 bądź 18 - ponoć najbardziej zaawansowany algorytm ever, stosowany tylko w jego oprogramowaniu Supermemo. Na początku sądziłem, że również eTutor zaimplementował SM2, jednak widzę, że nie. Przykładem jest to, że SM2 działa bardzo schematycznie, a w eTutor widzę, że dając cały czas jednakowe oceny pewnej grupie słówek, otrzymują one różne odstępy czasowe (np.: jedne 3 dni, a inne 4 dni). Jestem po prostu ciekaw, na jakiej zasadzie algorytm dobiera interwały mimo jednakowych ocen i chce być pewne, że moje powtóki i czas na nich spędzony jest 'w dobrych rękach'. :)
rmoszumanski
parseq - Ciekawa obserwacja!
Sztywny schemat odstępów czasowych mógłby powodować nierównomierny rozkład ilości pracy przy powtórkach dla użytkownika w ciągu kilku następujących po sobie dni w kalendarzu. By tego uniknąć jako informatyk wprowadziłbym np. losową modyfikację odstępów między powtórkami w pewnym zakresie, wokół wyjściowego odstępu wynoszącego np. 3 i pół dnia. Być może ta modyfikacja nie jest losowa tylko zależna od... ilosci liter w elemencie w powtórkach. Niestety twardej, lepszej wiedzy brak.
- 5 lat temu zmieniany: 5 lat temu

Wykup dostęp, aby dodać komentarz.

Tylko, ze niektóre elementy, które pojawiają się po raz drugi potrafią to robić w zupełnie innych odstępach czasu. Z ciekawości sobie spisałem kilka robiąc teraz:

Liczba powtórek: 2
Dodany do nauki: 2018-12-25 16:31:49
Ostatnia powtórka: 2018-12-28 (ocena: 3)
Następna powtórka: 2019-01-04

Liczba powtórek: 2
Dodany do nauki: 2018-12-31 18:25:33
Ostatnia powtórka: 2019-01-01 (ocena: 3)
Następna powtórka: 2019-01-04

Liczba powtórek: 2
Dodany do nauki: 2019-01-01 21:43:57
Ostatnia powtórka: 2019-01-02 (ocena: 3)
Następna powtórka: 2019-01-04

Liczba powtórek: 2
Dodany do nauki: 2018-12-26 22:34:18
Ostatnia powtórka: 2018-12-29 (ocena: 3)
Następna powtórka: 2019-01-04

Liczba powtórek: 2
Dodany do nauki: 2018-12-23 08:28:04
Ostatnia powtórka: 2018-12-26 (ocena: 3)
Następna powtórka: 2019-01-04

Jak mniemam to potem robi to coraz większą dysproporcję. Chwilowo żadnej zależności pomiędzy dlugościa tekstu, a jego częstotliwoscią nie zauważyłem. Wygląda to niestety jak spory random.

Dodam, że niektóre elementy mające 3 powtórki mieszczą się w tym samym czasie (dodane 22-23 grudnia, powtarzane dziś), co te najstarsze z 2 potwórkami, podczas, gdy inne mają już rozjazd względem nich ok. 3 tygodnie, jak np. poniższa:

Liczba powtórek: 3
Dodany do nauki: 2018-12-02 22:22:54
Ostatnia powtórka: 2018-12-14 (ocena: 3)
Następna powtórka: 2019-01-04
C
chasdiel
5 lat temuzmieniany: 5 lat temu

Wykup dostęp, aby dodać komentarz.

Nie jestem pewien czy sam algorytm powtorek jest naistotniejszy w nauce angielskiego a nie "wsad" - czyli tresc danego programu i tutaj jak do tej pory Etutor nie ma sobie rownych. Nie wiem czy to w Anki ale moze w ktoryms z innych programow, powtorki pojawialy sie nie w interwalach dziennych a godzinowych.
piotr.grela
5 lat temuzmieniany: 5 lat temu
tlstar - Też tak sądzę. Ważne, że system powtórek po prostu jest:-) A to czy kolejna powtórka oceniona identycznie następuje za 10 dni czy za 12 jest chyba zupełnie mało istotne z punktu widzenia samej nauki. - 5 lat temu

Wykup dostęp, aby dodać komentarz.

Z punktu widzenia nauki to czas, kiedy powtarzamy daną rzecz ma FUNDAMENTALNE znaczenie i od odległości pomiędzy potwórkami zależy czy zapamiętamy coś na tyle, że będzie dostępne w pamięci długotrwałej czy też nie.

Inaczej mógłbyś siedzieć w weekend kilkanaście godzin i potem powtórzyć sobie miesiac później i też by było ok. Tak to niestety nie działa.

Nie mówię, że treść Etutora jest zła. Na pewno coś się tu uczę. Tyle, że zarówno ja, jak i wielu innych spędza tu dużo czasu, który z inteligentnymi powtórkami mogliby spędzić bardziej produktywnie.
Jakby ktoś Wam sprzedawał samochód na benzynę, a okazałby się dieslem to nie bylibyście zachwyceni (chociaz też niby działa i jest ok). I trochę tu tak jest. Właściciele "Etutora" zachwalają system inteligentnych potwórek, które jak się okazuje nie działają, a na pewno NIE SĄ INTELIGENTNE i nie spełniają swojej funkcji.

I to nie jest kwestia, że powtórka raz będzie za 10, a raz za 12 dni. Powyżej dałem przykłady, które mówią, że w ciągu 2 pierwszych powtórek czas następnej powtórki waha się od 3 dni do 14 dni. I z każdą kolejną powtórką to się pogłębia, więc żadnego oparcia o krzywą uczenia się nie ma.
C
chasdiel
5 lat temuzmieniany: 5 lat temu
domek120 - Ja chyba podpisuję się pod Twoją opinią. U mnie dodatkowo występuję efekt "rozkojarzenia" z powodu braku zrozumienia tego algorytmu - albowiem całkowicie nie lubię niespodzianek. :))

Proszę przy okazji o podpowiedź - w jaki sposób mogę zerować osiągnięte w tygodniu wyniki.
- 4 lata temu

Wykup dostęp, aby dodać komentarz.

@chasdiesel, to co stwierdziłeś na końcu ("..z każdą kolejną powtórką to się pogłębia") to jest właśnie oparte o krzywą uczenia :-) Kolejne powtórki (nawet kiepsko oceniane) będą przecież coraz rzadziej. Choć oczywiście częściej niż te bardzo dobrze oceniane.
W eTutor częstotliwość i kolejność występowania elementów w kolejnych powtórkach wynika nie tylko z tego jak oceniliśmy element, ale też pewnie z:
1/Liczby powtórzeń - im więcej powtarzaliśmy element tym później wystąpi następna jego powtórka.
2/Ilości dodanych jednorazowo elementów - im więcej dodamy jednego dnia, tym część z nich pojawi się po raz pierwszy później w powtórkach (nie tego samego dnia)
3/Liczby powtórzonych danego dnia - im więcej powtórzymy jednego dnia tym bardziej mogą się te elementy rozkładać na powtórki w czasie (nie pojawią się wszystkie tego samego dnia).
4/ Do tego dochodzi z pewnością prognoza ile prawdopodobnie dodamy nowych elementów w następnych dniach nauki na podstawie średniej ilości wcześniej dodawanych.
5/ ....? itd. można by dodawać kolejne założenia do algorytmu.
To oczywiście tylko moje przypuszczenie co do kilku funkcji wpływających na częstotliwość i czas powtórek w eTutor. Niestety wszelkie algorytmy informatyczne oparte o wiele serii danych i wiele zmiennych nie są jak widać możliwe do prostego wyjaśnienia "słownego". I tak jak wcześniej stwierdziłem, nie ma to dla mnie kompletnie żadnego znaczenia czy kolejna powtórka będzie za 10, za 12 czy nawet za 30 dni. Bo nawet jak będę z góry to wiedział, to i tak to niczego w mojej nauce z eTutor nie zmieni :-)
p.s. Poza tym w informatyce nikt ci tak po prostu nie odkryje kart w postaci wyjaśnienia działania mechanizmów aplikacji (prawa autorskie). No chyba, że jest to oprogramowanie o tzw. otwartej architekturze.
T
tlstar
5 lat temuzmieniany: 5 lat temu

Wykup dostęp, aby dodać komentarz.

Napisałem ok. 3 tygodnie temu w "Społeczność/Pytania" pt. "Kalendarz powtórek w zależności od samooceny przy starych słówkach" o moich dziwnych obserwacjach. Nie doczekałem się reakcji eTutora.

Nie rozumiem, dlaczego dawno dodane i nauczone słówko, które obecnie dostaje ocenę "Źle = 1" zostaje umieszczone w systemie **za... 91 dni**. Dopiero!?
Inne słówko, również podobnie dawno dodane i nauczone, dalej umiane (ocena "Świetnie = 3") zostaje umieszczone w kalendarzu za 98 dni.
[...]@tlstar**: Czy nie wydaje Ci się dziwne, że moje samooceny (skrajne w tych wypadkach) mają tak znikomy wpływ na planowanie następnej daty powtórki?
**Brak reakcji eTutora** na moje i innych pytania wokół tematu "algorytm powtórek" wystawia przynajmniej moje **zaufanie na ciężką próbę**.
parseq
5 lat temuzmieniany: 5 lat temu
chasdiel - Jeśli dobrze zrozumiałem wypowiedź administracji to wygląda to tak:

Istnieje lista "główna" i lista "trudne słówka".
- Dajesz ocenę 1, ale żeby zaliczyć to i tak przecież musisz dać ocenę 3.
( "1" powoduje głównie to, że słowo jest wrzucane też na "trudne słówka". )
- Jeśli zajrzysz w "trudne słówka" w krótkim czasie kilku dni to zachodzi pewna korelacja i na liście głównej element rzeczywiście będzie traktowany jako taki, który otrzymał ocenę 1.
- to tylko moje domysły, ale podejrzewam, że jak nie zajrzysz w ciągu x dni i nie powtórzysz słowa z oceną 1 to jest ona traktowana jako słówko z oceną wypadkową 1 (które dałeś, bo nie umiałeś) i 3 (które dałeś na samym końcu, żeby zaliczyć).
- 5 lat temu zmieniany: 5 lat temu

Wykup dostęp, aby dodać komentarz.

Odniosę się tylko jeszcze do fragmentu wypowiedzi użytkownika <b>@tlstar</b>: (swoją drogą jak już używamy nicków to możemy sobie zadać odrobinę trudu i napisać/skopiować poprawnie)

"("..z każdą kolejną powtórką to się pogłębia") to jest właśnie oparte o krzywą uczenia :-) "
Wyjaśnię na przykładzie, bo mój poprzedni post nie został chyba zrozumiany:
Mam słowa X i Y. Dodaję je w tym samym czasie - nazwijmy go "dzień 1". Słówka/zwroty są zbliżonych rozmiarów do siebie.

Powtórka 1 (czyli pierwsza od momentu dodania)
1. Oba słówka dostają ocenę 3, czyli jak ktoś to ładnie nazwał w nowym systemie: "średnio"
Powtórka 2:
2. Słowo X pojawia mi się w "dzień 2", słowo Y w "dzień 4". Oba dostają ocenę 3, czyli "średnio"
Powtórka 3:
3. Słowo X pojawia się w "dzień 4", słowo Y w "dzień 12". Oba dostaje ocenę 3, czyli "średnio"

Powtórka 4: - różnica się znacznie powiększa z każdą kolejną powtórką
4. Słowo X pojawia się w "dzień 12", słowo Y w "dzień 30". Oba dostaje ocenę 3, czyli "średnio"

Dwa podobne słowa, oba dodane tego samego dnia. Różnica pomiędzy czasem pojawienia się powtórki 4 to 18 dni.

<b>@tlstar</b>
Byłbym wdzięczny, jakbyś mi wskazał gdzie jest ta niby inteligentna krzywa uczenia, bom najwidoczniej nazbyt skromnie obdarzony szarymi komórkami, żeby ją dostrzec.
C
chasdiel
5 lat temuzmieniany: 5 lat temu
tlstar - To, że "..z każdą kolejną powtórką to się pogłębia" zrozumiałem, że masz na myśli iż kolejne powtórki danego elementu (3,4,5 itd.) występują w coraz to dłuższych interwałach czasowych. I jest to zupełnie logiczne oraz zgodne z tą krzywą uczenia: kolejne coraz rzadziej niezależnie od przyznanych ocen (przy ocenach pozytywnych jeszcze „bardziej” rzadziej niż przy negatywnych). Natomiast masz oczywiście rację, że przy tych identycznych ocenach elementy równo dodane powinny TEORETYCZNIE pojawiać się w tych samych odstępach. Ale to tylko pozornie, bo wyłącznie bez uwzględnienia innych elementów tego algorytmu. - 5 lat temu
tlstar - c.d. Jeśli natomiast uwzględnimy inne zmienne (o niektórych jakie przychodzą mi szybko na myśl pisałem) to np. mamy sytuację, że danego dnia w przyszłości jest już dzień „mocno zapchany” powtórkami, więc część tak samo ocenianych elementów jeszcze może się tam uda dopchnąć, ale kolejne, nawet identycznie dodane i oceniane, zostaną umieszczone dopiero w kolejnych dniach – więc to się jednak choćby z takiego powodu rozciąga w czasie. Inne zmienne też na to mają wpływ. Więc chyba absolutnie nie da się tego prosto, bez wiedzy co do podstawowych założeń objaśnić. p.s. sorry za literówkę w nicku, ale z podpisu pod wpisem nie da się wprost, łatwo kopiować :-( - 5 lat temu zmieniany: 5 lat temu

Wykup dostęp, aby dodać komentarz.

Teraz właśnie się przyjrzałem po raz kolejny powtórkom. Np . słówko które dwa razy powtarzałem, dalem mu teraz ocenę 1 i logiczne byłoby, żebym je powtórzył też jutro, ale algorytm zdecydował, że optymalnie będzie powtórzyć je za... 9 dni.
rmoszumanski

Wykup dostęp, aby dodać komentarz.

Czytając o algorytmie SuperMemo pojawia się informacja o wielu latach pracy polskich naukowców akademickich. Padają konkretne nazwiska, tytuły naukowe, testy itp.
Pamiętam w SM sekcję profilu użytkownika z krzywymi retencji, i masą wpsółczynników, które zmieniały się podczas procesu nauki dopasowując się do studenta.

Szczerze wątpię, że algorytm w eTutor jest optymalny i skuteczny. Podejrzewam, że startup etutor zaimplementował coś na szybko, aby pchać projekt i dostać dofinansowanie z EU.
Póżniej już to zostało, a z uwagi na prawie milion użytkowników w systemie nikt już tego algorytmu nie zmieni. Może to być nawet niewykonalne.

Przy dużej ilości rekoródw w bazie algorytm ma kolosalne znaczenie. Piotrze piszesz o optymalnych 200 porwtórkach dziennie, być może można by to osiągnąc setką, może pięćdzesięcioma, kto wie.
Te extra "pół godzinki" dziennie x 365 to ogrom czasu.

Z drugiej strony etutor to świetny kontent, zintegrowane diki, lekcje. Wszystko to sprawia, że na tej platformie czas upływa szybko i przyjemnie :).
kktm
darkobo - "Póżniej już to zostało, a z uwagi na prawie milion użytkowników w systemie nikt już tego algorytmu nie zmieni. Może to być nawet niewykonalne."
Stąd były moje pytania jak na algorytm wpłynęła zmiana z 4 możliwych odpowiedzi, na trzy i nie doczekałem się takiej informacji, a to podważa zaufanie do całego systemu.
Co nie zmienia tego, że "etutor to świetny kontent, zintegrowane diki, lekcje" itp., za w sumie stosunkowo niewielką kasę (zwłaszcza jeśli korzysta się z promocji czy innych bonusów.
- 5 lat temu zmieniany: 5 lat temu
parseq - Wszystko prawda, tylko że czas ma tu upływać przede wszystkim EFEKTYWNIE.

Algorytm wcale nie musiał się zmienić. Likwidacja jednej z ocen przy Powtórkach może dotyczyć tylko(!) user interface. Podawana ocena jest nadal zapisywana liczbami: 1, 3, 4. (Wcześniej było 1, 2, 3, 4.)
- 5 lat temu zmieniany: 5 lat temu
darkobo - A zatem czyżby dawne oceny 2 i 3 nie miały znaczenia, skoro teraz zamiast 1 i 2 wystarczy tylko 1?! Przecież jeśli to miało mieć logikę i sens, to słowo, które otrzymało 1 powinno być kierowane do powtórek wcześniej, niż to, które otrzymało 2. Jeśli teraz 2 nie ma i algorytm się nie zmienił to by oznaczało, że dotychczasowa filozofia "inteligentnych" powtórek wzięła w łeb. Sorry, ale jeśli z pieczołowicie opracowanego systemu 4-o stopniowego usunie się jeden stopień, to cały system się zmienia. To nie jest tylko tak, że ot, nagle wszystkie niepamiętane lub pamiętane z małymi błędami słówka dostają 1 (choć wcześniej mogłyby dostać 2) i system 1234 działa zgodnie z pierwotnymi założeniami. - 5 lat temu
parseq - Może tak być, ale nie znamy stopnia wyrafinowania obecnego systemu. I nie sądzę abyśmy mogli go poznać... :-( - 5 lat temu

Wykup dostęp, aby dodać komentarz.

Weźcie też pod uwagę że słówka maja przypisany poziom trudności nie zależny od długości słowa/wyrażenia.
I dodatkowo można modyfikować częstotliwość powtórek wedle własnego uznania.
L
Lantardi
5 lat temuzmieniany: 5 lat temu
parseq - Masz na myśli poziom lekcji, z której został dodany element do powtórek (A1, A2, ... C2)?
Co wówczas ze słówkami dodawanymi ręcznie ze słownika, bądź z elementami własnymi?
- 5 lat temu

Wykup dostęp, aby dodać komentarz.

Znalazłem ciekawą wypowiedź porównującą SM2 z S3+ (wszystkie algorytmy SM licząc od trzeciej wersji jaka powstała). Zakładam zatem, że eTutor pokusił się o jakiś z nowszych algorytmów SM.

"If you are very consistent in your studies and all cards are of a very similar difficulty, this approach can work quite well. However, once inconsistencies are introduced into the equation (cards of varying difficulty, not studying at the same time every day), SM3+ is more prone to incorrect guesses at the next interval – resulting in cards being scheduled too often or too far in the future. "Furthermore, as SM3+ dynamically adjusts the "optimum factors" table, a situation can often arise where answering "hard" on a card can result in a longer interval than answering "easy" would give."
rmoszumanski

Wykup dostęp, aby dodać komentarz.

Oraz ciekawa wypowiedź na temat konkretnie SM-5 (piąta wersja algorytmu):

"SuperMemo have subsequently stated that the description of the SM-5 algorithm listed on their website is incomplete, so it is possible the problems we encountered do not exist in SuperMemo’s proprietary implementation." - https://apps.ankiweb.net/docs/manual.html#what-algorithm
rmoszumanski

Wykup dostęp, aby dodać komentarz.

Używamy autorskiego algorytmu do powtórek, choć oczywiście opartego na tych samych podstawach naukowych co wymieniane tutaj inne algorytmy, w szczególności SM2. Nasz algorytm dostosowany jest przede wszystkim pod naukę słownictwa w języku obcym.
pako
Pracownik eTutor

Wykup dostęp, aby dodać komentarz.

Ciekawy wątek, mnie - w porównaniu do Anki - brakuje zdefiniowania maksymalnej przerwy (np. dwa lata). Bez oceny 2 (teraz tylko 1, 3, 4), po kilku powtórzeniach słowko ląduje na koniec roku 2022 (prawie 4 lata) i wszystko mimo zaznaczenia częstszych powtórek :/
knorwid

Wykup dostęp, aby dodać komentarz.

A mi brakuje swoistego "resetu" powtórek. Są słowa, które wracają co parę miesięcy i za każdym razem robię ten sam błąd. Orientuję się po czasie - czyli daję 1 i 2 przy kolejnej powtórce tego dnia, Słowo znów znika na parę miesięcy i sytuacja się powtarza... w nieskończoność.
N
netis7
tlstar - Nie jestem w 100% pewien, ale wydaje mi się, że jeśli "się orientujesz" to po prostu usuń to słowo z powtórek i następnie je ponownie (może jednak dopiero następnego dnia?) dodaj. Powinno chyba zadziałać tak jak nowe słowo dodane do powtórek. - 5 lat temu
parseq - Według mojej obserwacji faktycznie dla resetu historii powtórek danego elementu wystarczy kliknąć w czerwony minus by zaraz potem kliknąć w zielony plus. Lista elementów w powtórkach (z wyszukiwarką!) jest tu:
https://www.etutor.pl/words/elements-in-repetitions/all

Też mam słówka, które mi nie wchodzą. To są moje "uporczywie trudne elementy". By sobie z nimi poradzić proponuję selektywnie zwiększyć częstotliwość powtórek takich przypadków. Jak to robię opisałem tu:
https://www.etutor.pl/forum/thread/982420-Czy_w_trybie_powtorek_mozna_powtorzyc_wszyskie_slowa_jakie_ma_sie_doda.html?unread
- 5 lat temu zmieniany: 5 lat temu
netis7 - Rozpatrywałem usunięcie i ponowne dodanie słowa ale z tego co czytałem słowo to definitywnie zniknie ze statystyk eTutor-a. - 5 lat temu

Wykup dostęp, aby dodać komentarz.

Super by było gdyby eTutor przeanalizował jeszcze raz działanie algorytmu i go usprawnić w razie czego.
rmoszumanski

Wykup dostęp, aby dodać komentarz.

Wiele lat temu uczylam sie z Spermemo i pamietam, ze nauka z tamtym programem byla bardziej efektywna ze wzgledu na czestotliwosc powtorek. Nowe wyrazy byly w powtorkach kilka razy w ciagu tygodnia, a stare ocenione zle na 100% kolejnego dnia oraz po 2-3 dniach. Czas spedzony na nauce byl lepiej wykorzystany. Etutor ma swietna zawartosc jednak rzadsze powtorki sprawiaja, ze poprostu nie widze takich samych efektow mimo, ze mam ustawiona maksymalna czestotliwosc. Dolaczam sie do prosby mojego przedmowcy o przeanalizowanie dzialania algorytmu.
B
bosaBogusia
piotr.grela - A ja mam odwrotnie. Przez pare lat uzywalem Supermemo i nauka szla mi bardzo topornie. Dopiero gdy zaczalem uzywac Etutora, poczulem, ze to jest to czego szukalem. Wady Supermemo: brak mozliwosci dodawania wlasnych notatek, zawile definicje slowek, listy slowek wziete nie wiadomo skad np. slowko antecedence - uprzedniosc :-) , amerykanska wymowa, ograniczona liczba slow, zadnych kolokacji (zwiazkow wyrazowych). Przed Etutorem - Supermemo bylo rewelacyjne ale teraz jest to portal przestarzaly. - 5 lat temu

Wykup dostęp, aby dodać komentarz.

Algorytm jak algorytm, mozna zawsze zmienic czestotliwosc powtorek, dodac od nowa slowka do powtorek. Najwiekszym problemem w nauce jezykow obcych, jest jakie dodac slowka i zwroty do nauki,powtorek... aby miec z tego najwiekszy uzytek.
piotr.grela
5 lat temuzmieniany: 5 lat temu

Wykup dostęp, aby dodać komentarz.

Podobne wątki