https://wiki.cs.hse.ru/api.php?action=feedcontributions&feedformat=atom&user=Arbabenko 2026-09-21T14:27:38Z Вклад MediaWiki 1.43.9 https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=23210 2017-05-12T10:18:07Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Kaggle competition ==<br /> Follow this link to [https://kaggle.com/join/HSE_Competition participate].<br /> <br /> == Colloquium ==<br /> Colloquium will be held on April 7th during lecture &amp; seminars time slot. <br /> <br /> You may not use any materials during colloquium except single A4 prepared before the exam and handwritten personally by you (from two sides). You will have 2 questions from the [https://yadi.sk/i/myp4_88l3GJDwe questions list] with 25 minutes for preparation and may receive additional questions or tasks.<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> '''Lecture 4. Regression methods.'''<br /> [https://yadi.sk/i/mvozzv_s3CReQQ Download]<br /> <br /> '''Lecture 5. Properties of convex functions.'''<br /> [https://yadi.sk/i/zCcyHHCz3DhLTx Download]<br /> <br /> '''Lecture 6. Linear methods of classification.'''<br /> [https://yadi.sk/i/CsWN0nwW3DhDJp Download]<br /> <br /> '''Lecture 7. Classifier evaluation.'''<br /> [https://yadi.sk/i/r3tYJwZ73FNNWk Download]<br /> <br /> '''Lecture 8. SVM and kernel trick.'''<br /> [https://yadi.sk/i/f35uPeOe3FzvKg Download]<br /> <br /> '''Lecture 9. Principal component analysis.'''<br /> [https://yadi.sk/i/dfImvp3O3Gwoaw Download]<br /> <br /> '''Lecture 10. Singular value decomposition.'''<br /> [https://yadi.sk/i/znlevSwu3Gwobb Download]<br /> <br /> '''Lecture 11. Feature selection.'''<br /> [https://yadi.sk/i/lyx3mLCc3HBwML Download]<br /> <br /> '''Lecture 12. Working with text.'''<br /> [https://yadi.sk/i/NmoN6-I43HBwN5 Download]<br /> <br /> '''Lecture 13. Ensemble methods.'''<br /> [https://yadi.sk/i/5K8fg85Q3HRbEF Download]<br /> <br /> '''Lecture 14. Boosting.'''<br /> [https://yadi.sk/i/IT2V7Dfe3J4Qxh Download]<br /> <br /> '''Lecture 15. xgBoost.'''<br /> [https://yadi.sk/i/PfnWMyJU3J4R7K Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theoretical task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstSEZOZzBoQUo3bk0 data]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theoretical task 3], Deadline: February 2<br /> <br /> '''Seminar 4. Regression methods '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJsta29CeXdfcXFwWFU/view?usp=sharing Theoretical task 4], Deadline: February 9<br /> <br /> '''Seminar 5. Linear classification: loss functions '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUzQxWndJaTB1cGM/view?usp=sharing Theoretical task 5], Deadline: February 16<br /> <br /> '''Seminar 6. Linear classification: optimization '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaHFVRFV2Z0F0ZWs/view?usp=sharing Theoretical task 6], Deadline: March 2<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstRjNSbXhxWDZfRzA/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstbGZZTDNjazg5Mmc/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstZ1M3NmhXU0EwSlE/view?usp=sharing diabetes dataset]. Deadline: March 16<br /> <br /> '''Seminar 7. Classifier evaluation'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZUF9FMlVWYUVmQUE/view?usp=sharing Theoretical task 7], Deadline: March 16<br /> <br /> '''Seminar 8. SVM and kernel trick'''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstazFWSXVSREJzSGc/view?usp=sharing Theoretical task 8], Deadline: March 23<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstOVotNEhnYUJYdGs/view?usp=sharing Practical task 8], [https://drive.google.com/file/d/0B7TWwiIrcJstU0gxeDhYX1hHN1E/view?usp=sharing data]. Deadline: March 30<br /> <br /> '''Seminar 9. PCA'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZT1U0aUhjQmphZDA/view?usp=sharing Theoretical task 9], Deadline: April 20<br /> <br /> '''Seminar 10. Feature selection + text mining'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZdHk1MmFxUlVwNm8/view?usp=sharing Theoretical task 10], Deadline: April 27<br /> <br /> '''Seminar 11. Ensembles, bagging'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZVjk1c2dIWmVSUkk/view?usp=sharing Practical task 11], Deadline: May 18<br /> <br /> '''Seminar 12. Ensembles, boosting'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZTFJGZ2VmcURVZDg/view?usp=sharing Theoretical task 12], Deadline: May 18<br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> If you solve the theoretical problem in class you obtain 1.5 points (if you solve it at home you obtain 1 point).<br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [https://github.com/esokolov/ml-course-hse Machine learning course from Evgeny Sokolov on Github]<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=23209 2017-05-12T10:17:24Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Kaggle competition ==<br /> Follow this link to [https://kaggle.com/join/HSE_Competition participate].<br /> <br /> == Colloquium ==<br /> Colloquium will be held on April 7th during lecture &amp; seminars time slot. <br /> <br /> You may not use any materials during colloquium except single A4 prepared before the exam and handwritten personally by you (from two sides). You will have 2 questions from the [https://yadi.sk/i/myp4_88l3GJDwe questions list] with 25 minutes for preparation and may receive additional questions or tasks.<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> '''Lecture 4. Regression methods.'''<br /> [https://yadi.sk/i/mvozzv_s3CReQQ Download]<br /> <br /> '''Lecture 5. Properties of convex functions.'''<br /> [https://yadi.sk/i/zCcyHHCz3DhLTx Download]<br /> <br /> '''Lecture 6. Linear methods of classification.'''<br /> [https://yadi.sk/i/CsWN0nwW3DhDJp Download]<br /> <br /> '''Lecture 7. Classifier evaluation.'''<br /> [https://yadi.sk/i/r3tYJwZ73FNNWk Download]<br /> <br /> '''Lecture 8. SVM and kernel trick.'''<br /> [https://yadi.sk/i/f35uPeOe3FzvKg Download]<br /> <br /> '''Lecture 9. Principal component analysis.'''<br /> [https://yadi.sk/i/dfImvp3O3Gwoaw Download]<br /> <br /> '''Lecture 10. Singular value decomposition.'''<br /> [https://yadi.sk/i/znlevSwu3Gwobb Download]<br /> <br /> '''Lecture 11. Feature selection.'''<br /> [https://yadi.sk/i/lyx3mLCc3HBwML Download]<br /> <br /> '''Lecture 12. Working with text.'''<br /> [https://yadi.sk/i/NmoN6-I43HBwN5 Download]<br /> <br /> '''Lecture 13. Ensemble methods.'''<br /> [https://yadi.sk/i/5K8fg85Q3HRbEF Download]<br /> <br /> '''Lecture 14. Boosting.'''<br /> [https://yadi.sk/i/IT2V7Dfe3J4Qxh Download]<br /> <br /> '''Lecture 15. xgBoost.'''<br /> [https://yadi.sk/i/PfnWMyJU3J4R7K Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theoretical task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstSEZOZzBoQUo3bk0 data]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theoretical task 3], Deadline: February 2<br /> <br /> '''Seminar 4. Regression methods '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJsta29CeXdfcXFwWFU/view?usp=sharing Theoretical task 4], Deadline: February 9<br /> <br /> '''Seminar 5. Linear classification: loss functions '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUzQxWndJaTB1cGM/view?usp=sharing Theoretical task 5], Deadline: February 16<br /> <br /> '''Seminar 6. Linear classification: optimization '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaHFVRFV2Z0F0ZWs/view?usp=sharing Theoretical task 6], Deadline: March 2<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstRjNSbXhxWDZfRzA/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstbGZZTDNjazg5Mmc/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstZ1M3NmhXU0EwSlE/view?usp=sharing diabetes dataset]. Deadline: March 16<br /> <br /> '''Seminar 7. Classifier evaluation'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZUF9FMlVWYUVmQUE/view?usp=sharing Theoretical task 7], Deadline: March 16<br /> <br /> '''Seminar 8. SVM and kernel trick'''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstazFWSXVSREJzSGc/view?usp=sharing Theoretical task 8], Deadline: March 23<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstOVotNEhnYUJYdGs/view?usp=sharing Practical task 8], [https://drive.google.com/file/d/0B7TWwiIrcJstU0gxeDhYX1hHN1E/view?usp=sharing data]. Deadline: March 30<br /> <br /> '''Seminar 9. PCA'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZT1U0aUhjQmphZDA/view?usp=sharing Theoretical task 9], Deadline: April 20<br /> <br /> '''Seminar 10. Feature selection + text mining'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZdHk1MmFxUlVwNm8/view?usp=sharing Theoretical task 10], Deadline: April 27<br /> <br /> '''Seminar 11. Ensembles'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZVjk1c2dIWmVSUkk/view?usp=sharing Practical task 11], Deadline: May 18<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZTFJGZ2VmcURVZDg/view?usp=sharing Theoretical task 12], Deadline: May 18<br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> If you solve the theoretical problem in class you obtain 1.5 points (if you solve it at home you obtain 1 point).<br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [https://github.com/esokolov/ml-course-hse Machine learning course from Evgeny Sokolov on Github]<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=23179 2017-05-05T14:16:17Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Kaggle competition ==<br /> Follow this link to [https://kaggle.com/join/HSE_Competition participate].<br /> <br /> == Colloquium ==<br /> Colloquium will be held on April 7th during lecture &amp; seminars time slot. <br /> <br /> You may not use any materials during colloquium except single A4 prepared before the exam and handwritten personally by you (from two sides). You will have 2 questions from the [https://yadi.sk/i/myp4_88l3GJDwe questions list] with 25 minutes for preparation and may receive additional questions or tasks.<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> '''Lecture 4. Regression methods.'''<br /> [https://yadi.sk/i/mvozzv_s3CReQQ Download]<br /> <br /> '''Lecture 5. Properties of convex functions.'''<br /> [https://yadi.sk/i/zCcyHHCz3DhLTx Download]<br /> <br /> '''Lecture 6. Linear methods of classification.'''<br /> [https://yadi.sk/i/CsWN0nwW3DhDJp Download]<br /> <br /> '''Lecture 7. Classifier evaluation.'''<br /> [https://yadi.sk/i/r3tYJwZ73FNNWk Download]<br /> <br /> '''Lecture 8. SVM and kernel trick.'''<br /> [https://yadi.sk/i/f35uPeOe3FzvKg Download]<br /> <br /> '''Lecture 9. Principal component analysis.'''<br /> [https://yadi.sk/i/dfImvp3O3Gwoaw Download]<br /> <br /> '''Lecture 10. Singular value decomposition.'''<br /> [https://yadi.sk/i/znlevSwu3Gwobb Download]<br /> <br /> '''Lecture 11. Feature selection.'''<br /> [https://yadi.sk/i/lyx3mLCc3HBwML Download]<br /> <br /> '''Lecture 12. Working with text.'''<br /> [https://yadi.sk/i/NmoN6-I43HBwN5 Download]<br /> <br /> '''Lecture 13. Ensemble methods.'''<br /> [https://yadi.sk/i/5K8fg85Q3HRbEF Download]<br /> <br /> '''Lecture 14. Boosting.'''<br /> [https://yadi.sk/i/-RwlAWj53HRbFi Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theoretical task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstSEZOZzBoQUo3bk0 data]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theoretical task 3], Deadline: February 2<br /> <br /> '''Seminar 4. Regression methods '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJsta29CeXdfcXFwWFU/view?usp=sharing Theoretical task 4], Deadline: February 9<br /> <br /> '''Seminar 5. Linear classification: loss functions '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUzQxWndJaTB1cGM/view?usp=sharing Theoretical task 5], Deadline: February 16<br /> <br /> '''Seminar 6. Linear classification: optimization '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaHFVRFV2Z0F0ZWs/view?usp=sharing Theoretical task 6], Deadline: March 2<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstRjNSbXhxWDZfRzA/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstbGZZTDNjazg5Mmc/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstZ1M3NmhXU0EwSlE/view?usp=sharing diabetes dataset]. Deadline: March 16<br /> <br /> '''Seminar 7. Classifier evaluation'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZUF9FMlVWYUVmQUE/view?usp=sharing Theoretical task 7], Deadline: March 16<br /> <br /> '''Seminar 8. SVM and kernel trick'''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstazFWSXVSREJzSGc/view?usp=sharing Theoretical task 8], Deadline: March 23<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstOVotNEhnYUJYdGs/view?usp=sharing Practical task 8], [https://drive.google.com/file/d/0B7TWwiIrcJstU0gxeDhYX1hHN1E/view?usp=sharing data]. Deadline: March 30<br /> <br /> '''Seminar 9. PCA'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZT1U0aUhjQmphZDA/view?usp=sharing Theoretical task 9], Deadline: April 20<br /> <br /> '''Seminar 10. Feature selection + text mining'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZdHk1MmFxUlVwNm8/view?usp=sharing Theoretical task 10], Deadline: April 27<br /> <br /> '''Seminar 11. Ensembles'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZVjk1c2dIWmVSUkk/view?usp=sharing Practical task 11], Deadline: May 18<br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> If you solve the theoretical problem in class you obtain 1.5 points (if you solve it at home you obtain 1 point).<br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [https://github.com/esokolov/ml-course-hse Machine learning course from Evgeny Sokolov on Github]<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=23163 2017-04-28T12:09:42Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Kaggle competition ==<br /> Follow this link to [https://kaggle.com/join/HSE_Competition participate].<br /> <br /> == Colloquium ==<br /> Colloquium will be held on April 7th during lecture &amp; seminars time slot. <br /> <br /> You may not use any materials during colloquium except single A4 prepared before the exam and handwritten personally by you (from two sides). You will have 2 questions from the [https://yadi.sk/i/myp4_88l3GJDwe questions list] with 25 minutes for preparation and may receive additional questions or tasks.<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> '''Lecture 4. Regression methods.'''<br /> [https://yadi.sk/i/mvozzv_s3CReQQ Download]<br /> <br /> '''Lecture 5. Properties of convex functions.'''<br /> [https://yadi.sk/i/zCcyHHCz3DhLTx Download]<br /> <br /> '''Lecture 6. Linear methods of classification.'''<br /> [https://yadi.sk/i/CsWN0nwW3DhDJp Download]<br /> <br /> '''Lecture 7. Classifier evaluation.'''<br /> [https://yadi.sk/i/r3tYJwZ73FNNWk Download]<br /> <br /> '''Lecture 8. SVM and kernel trick.'''<br /> [https://yadi.sk/i/f35uPeOe3FzvKg Download]<br /> <br /> '''Lecture 9. Principal component analysis.'''<br /> [https://yadi.sk/i/dfImvp3O3Gwoaw Download]<br /> <br /> '''Lecture 10. Singular value decomposition.'''<br /> [https://yadi.sk/i/znlevSwu3Gwobb Download]<br /> <br /> '''Lecture 11. Feature selection.'''<br /> [https://yadi.sk/i/lyx3mLCc3HBwML Download]<br /> <br /> '''Lecture 12. Working with text.'''<br /> [https://yadi.sk/i/NmoN6-I43HBwN5 Download]<br /> <br /> '''Lecture 13. Ensemble methods.'''<br /> [https://yadi.sk/i/5K8fg85Q3HRbEF Download]<br /> <br /> '''Lecture 14. Boosting.'''<br /> [https://yadi.sk/i/-RwlAWj53HRbFi Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theoretical task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstSEZOZzBoQUo3bk0 data]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theoretical task 3], Deadline: February 2<br /> <br /> '''Seminar 4. Regression methods '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJsta29CeXdfcXFwWFU/view?usp=sharing Theoretical task 4], Deadline: February 9<br /> <br /> '''Seminar 5. Linear classification: loss functions '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUzQxWndJaTB1cGM/view?usp=sharing Theoretical task 5], Deadline: February 16<br /> <br /> '''Seminar 6. Linear classification: optimization '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaHFVRFV2Z0F0ZWs/view?usp=sharing Theoretical task 6], Deadline: March 2<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstRjNSbXhxWDZfRzA/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstbGZZTDNjazg5Mmc/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstZ1M3NmhXU0EwSlE/view?usp=sharing diabetes dataset]. Deadline: March 16<br /> <br /> '''Seminar 7. Classifier evaluation'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZUF9FMlVWYUVmQUE/view?usp=sharing Theoretical task 7], Deadline: March 16<br /> <br /> '''Seminar 8. SVM and kernel trick'''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstazFWSXVSREJzSGc/view?usp=sharing Theoretical task 8], Deadline: March 23<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstOVotNEhnYUJYdGs/view?usp=sharing Practical task 8], [https://drive.google.com/file/d/0B7TWwiIrcJstU0gxeDhYX1hHN1E/view?usp=sharing data]. Deadline: March 30<br /> <br /> '''Seminar 9. PCA'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZT1U0aUhjQmphZDA/view?usp=sharing Theoretical task 9], Deadline: April 20<br /> <br /> '''Seminar 10. Feature selection + text mining'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZdHk1MmFxUlVwNm8/view?usp=sharing Theoretical task 10], Deadline: April 27<br /> <br /> '''Seminar 11. Ensembles'''<br /> <br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> If you solve the theoretical problem in class you obtain 1.5 points (if you solve it at home you obtain 1 point).<br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [https://github.com/esokolov/ml-course-hse Machine learning course from Evgeny Sokolov on Github]<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=23162 2017-04-28T10:46:26Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Kaggle competition ==<br /> Follow this link to [https://kaggle.com/join/HSE_Competition participate].<br /> <br /> == Colloquium ==<br /> Colloquium will be held on April 7th during lecture &amp; seminars time slot. <br /> <br /> You may not use any materials during colloquium except single A4 prepared before the exam and handwritten personally by you (from two sides). You will have 2 questions from the [https://yadi.sk/i/myp4_88l3GJDwe questions list] with 25 minutes for preparation and may receive additional questions or tasks.<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> '''Lecture 4. Regression methods.'''<br /> [https://yadi.sk/i/mvozzv_s3CReQQ Download]<br /> <br /> '''Lecture 5. Properties of convex functions.'''<br /> [https://yadi.sk/i/zCcyHHCz3DhLTx Download]<br /> <br /> '''Lecture 6. Linear methods of classification.'''<br /> [https://yadi.sk/i/CsWN0nwW3DhDJp Download]<br /> <br /> '''Lecture 7. Classifier evaluation.'''<br /> [https://yadi.sk/i/r3tYJwZ73FNNWk Download]<br /> <br /> '''Lecture 8. SVM and kernel trick.'''<br /> [https://yadi.sk/i/f35uPeOe3FzvKg Download]<br /> <br /> '''Lecture 9. Principal component analysis.'''<br /> [https://yadi.sk/i/dfImvp3O3Gwoaw Download]<br /> <br /> '''Lecture 10. Singular value decomposition.'''<br /> [https://yadi.sk/i/znlevSwu3Gwobb Download]<br /> <br /> '''Lecture 11. Feature selection.'''<br /> [https://yadi.sk/i/lyx3mLCc3HBwML Download]<br /> <br /> '''Lecture 12. Working with text.'''<br /> [https://yadi.sk/i/NmoN6-I43HBwN5 Download]<br /> <br /> '''Lecture 13. Ensemble methods.'''<br /> [https://yadi.sk/i/5K8fg85Q3HRbEF Download]<br /> <br /> '''Lecture 14. Boosting.'''<br /> [https://yadi.sk/i/-RwlAWj53HRbFi Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theoretical task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstSEZOZzBoQUo3bk0 data]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theoretical task 3], Deadline: February 2<br /> <br /> '''Seminar 4. Regression methods '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJsta29CeXdfcXFwWFU/view?usp=sharing Theoretical task 4], Deadline: February 9<br /> <br /> '''Seminar 5. Linear classification: loss functions '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUzQxWndJaTB1cGM/view?usp=sharing Theoretical task 5], Deadline: February 16<br /> <br /> '''Seminar 6. Linear classification: optimization '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaHFVRFV2Z0F0ZWs/view?usp=sharing Theoretical task 6], Deadline: March 2<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstRjNSbXhxWDZfRzA/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstbGZZTDNjazg5Mmc/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstZ1M3NmhXU0EwSlE/view?usp=sharing diabetes dataset]. Deadline: March 16<br /> <br /> '''Seminar 7. Classifier evaluation'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZUF9FMlVWYUVmQUE/view?usp=sharing Theoretical task 7], Deadline: March 16<br /> <br /> '''Seminar 8. SVM and kernel trick'''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstazFWSXVSREJzSGc/view?usp=sharing Theoretical task 8], Deadline: March 23<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstOVotNEhnYUJYdGs/view?usp=sharing Practical task 8], [https://drive.google.com/file/d/0B7TWwiIrcJstU0gxeDhYX1hHN1E/view?usp=sharing data]. Deadline: March 30<br /> <br /> '''Seminar 9. PCA'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZT1U0aUhjQmphZDA/view?usp=sharing Theoretical task 9], Deadline: April 20<br /> <br /> '''Seminar 10. Feature selection + text mining'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZdHk1MmFxUlVwNm8/view?usp=sharing Theoretical task 10], Deadline: April 27<br /> <br /> '''Seminar 11. Ensembles'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZVGQwUmdNNWpzT1E/view?usp=sharing Theoretical task 11], Deadline: May 4<br /> <br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> If you solve the theoretical problem in class you obtain 1.5 points (if you solve it at home you obtain 1 point).<br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [https://github.com/esokolov/ml-course-hse Machine learning course from Evgeny Sokolov on Github]<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=23161 2017-04-28T10:45:55Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Kaggle competition ==<br /> Follow this link to [https://kaggle.com/join/HSE_Competition participate].<br /> <br /> == Colloquium ==<br /> Colloquium will be held on April 7th during lecture &amp; seminars time slot. <br /> <br /> You may not use any materials during colloquium except single A4 prepared before the exam and handwritten personally by you (from two sides). You will have 2 questions from the [https://yadi.sk/i/myp4_88l3GJDwe questions list] with 25 minutes for preparation and may receive additional questions or tasks.<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> '''Lecture 4. Regression methods.'''<br /> [https://yadi.sk/i/mvozzv_s3CReQQ Download]<br /> <br /> '''Lecture 5. Properties of convex functions.'''<br /> [https://yadi.sk/i/zCcyHHCz3DhLTx Download]<br /> <br /> '''Lecture 6. Linear methods of classification.'''<br /> [https://yadi.sk/i/CsWN0nwW3DhDJp Download]<br /> <br /> '''Lecture 7. Classifier evaluation.'''<br /> [https://yadi.sk/i/r3tYJwZ73FNNWk Download]<br /> <br /> '''Lecture 8. SVM and kernel trick.'''<br /> [https://yadi.sk/i/f35uPeOe3FzvKg Download]<br /> <br /> '''Lecture 9. Principal component analysis.'''<br /> [https://yadi.sk/i/dfImvp3O3Gwoaw Download]<br /> <br /> '''Lecture 10. Singular value decomposition.'''<br /> [https://yadi.sk/i/znlevSwu3Gwobb Download]<br /> <br /> '''Lecture 11. Feature selection.'''<br /> [https://yadi.sk/i/lyx3mLCc3HBwML Download]<br /> <br /> '''Lecture 12. Working with text.'''<br /> [https://yadi.sk/i/NmoN6-I43HBwN5 Download]<br /> <br /> '''Lecture 13. Ensemble methods.'''<br /> [https://yadi.sk/i/5K8fg85Q3HRbEF Download]<br /> <br /> '''Lecture 14. Boosting.'''<br /> [https://yadi.sk/i/-RwlAWj53HRbFi Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theoretical task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstSEZOZzBoQUo3bk0 data]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theoretical task 3], Deadline: February 2<br /> <br /> '''Seminar 4. Regression methods '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJsta29CeXdfcXFwWFU/view?usp=sharing Theoretical task 4], Deadline: February 9<br /> <br /> '''Seminar 5. Linear classification: loss functions '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUzQxWndJaTB1cGM/view?usp=sharing Theoretical task 5], Deadline: February 16<br /> <br /> '''Seminar 6. Linear classification: optimization '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaHFVRFV2Z0F0ZWs/view?usp=sharing Theoretical task 6], Deadline: March 2<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstRjNSbXhxWDZfRzA/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstbGZZTDNjazg5Mmc/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstZ1M3NmhXU0EwSlE/view?usp=sharing diabetes dataset]. Deadline: March 16<br /> <br /> '''Seminar 7. Classifier evaluation'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZUF9FMlVWYUVmQUE/view?usp=sharing Theoretical task 7], Deadline: March 16<br /> <br /> '''Seminar 8. SVM and kernel trick'''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstazFWSXVSREJzSGc/view?usp=sharing Theoretical task 8], Deadline: March 23<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstOVotNEhnYUJYdGs/view?usp=sharing Practical task 8], [https://drive.google.com/file/d/0B7TWwiIrcJstU0gxeDhYX1hHN1E/view?usp=sharing data]. Deadline: March 30<br /> <br /> '''Seminar 9. PCA'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZT1U0aUhjQmphZDA/view?usp=sharing Theoretical task 9], Deadline: April 20<br /> <br /> '''Seminar 10. Feature selection + text mining'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZdHk1MmFxUlVwNm8/view?usp=sharing Theoretical task 10], Deadline: April 27<br /> <br /> '''Seminar 11. Ensembles'''<br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZVGQwUmdNNWpzT1E/view?usp=sharing Theoretical task 11], Deadline: May 4<br /> <br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> If you solve the theoretical problem in class you obtain 1.5 points (if you solve it at home you obtain 1 point).<br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [https://github.com/esokolov/ml-course-hse Machine learning course from Evgeny Sokolov on Github]<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=23135 2017-04-21T09:55:04Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Kaggle competition ==<br /> Full data and rules will be availbale on kaggle platform in several days. <br /> Link to [https://yadi.sk/d/kJass7GR3HBXct train set].<br /> <br /> == Colloquium ==<br /> Colloquium will be held on April 7th during lecture &amp; seminars time slot. <br /> <br /> You may not use any materials during colloquium except single A4 prepared before the exam and handwritten personally by you (from two sides). You will have 2 questions from the [https://yadi.sk/i/myp4_88l3GJDwe questions list] with 25 minutes for preparation and may receive additional questions or tasks.<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> '''Lecture 4. Regression methods.'''<br /> [https://yadi.sk/i/mvozzv_s3CReQQ Download]<br /> <br /> '''Lecture 5. Properties of convex functions.'''<br /> [https://yadi.sk/i/zCcyHHCz3DhLTx Download]<br /> <br /> '''Lecture 6. Linear methods of classification.'''<br /> [https://yadi.sk/i/CsWN0nwW3DhDJp Download]<br /> <br /> '''Lecture 7. Classifier evaluation.'''<br /> [https://yadi.sk/i/r3tYJwZ73FNNWk Download]<br /> <br /> '''Lecture 8. SVM and kernel trick.'''<br /> [https://yadi.sk/i/f35uPeOe3FzvKg Download]<br /> <br /> '''Lecture 9. Principal component analysis.'''<br /> [https://yadi.sk/i/dfImvp3O3Gwoaw Download]<br /> <br /> '''Lecture 10. Singular value decomposition.'''<br /> [https://yadi.sk/i/znlevSwu3Gwobb Download]<br /> <br /> '''Lecture 11. Feature selection.'''<br /> [https://yadi.sk/i/lyx3mLCc3HBwML Download]<br /> <br /> '''Lecture 12. Working with text.'''<br /> [https://yadi.sk/i/NmoN6-I43HBwN5 Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theoretical task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstSEZOZzBoQUo3bk0 data]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theoretical task 3], Deadline: February 2<br /> <br /> '''Seminar 4. Regression methods '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJsta29CeXdfcXFwWFU/view?usp=sharing Theoretical task 4], Deadline: February 9<br /> <br /> '''Seminar 5. Linear classification: loss functions '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUzQxWndJaTB1cGM/view?usp=sharing Theoretical task 5], Deadline: February 16<br /> <br /> '''Seminar 6. Linear classification: optimization '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaHFVRFV2Z0F0ZWs/view?usp=sharing Theoretical task 6], Deadline: March 2<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstRjNSbXhxWDZfRzA/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstbGZZTDNjazg5Mmc/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstZ1M3NmhXU0EwSlE/view?usp=sharing diabetes dataset]. Deadline: March 16<br /> <br /> '''Seminar 7. Classifier evaluation'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZUF9FMlVWYUVmQUE/view?usp=sharing Theoretical task 7], Deadline: March 16<br /> <br /> '''Seminar 8. SVM and kernel trick'''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstazFWSXVSREJzSGc/view?usp=sharing Theoretical task 8], Deadline: March 23<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstOVotNEhnYUJYdGs/view?usp=sharing Practical task 8], [https://drive.google.com/file/d/0B7TWwiIrcJstU0gxeDhYX1hHN1E/view?usp=sharing data]. Deadline: March 30<br /> <br /> '''Seminar 9. PCA'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZT1U0aUhjQmphZDA/view?usp=sharing Theoretical task 9], Deadline: April 20<br /> <br /> '''Seminar 10. Feature selection + text mining'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZdHk1MmFxUlVwNm8/view?usp=sharing Theoretical task 10], Deadline: April 27<br /> <br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> If you solve the theoretical problem in class you obtain 1.5 points (if you solve it at home you obtain 1 point).<br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [https://github.com/esokolov/ml-course-hse Machine learning course from Evgeny Sokolov on Github]<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=23076 2017-04-14T10:06:16Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Colloquium ==<br /> Colloquium will be held on April 7th during lecture &amp; seminars time slot. <br /> <br /> You may not use any materials during colloquium except single A4 prepared before the exam and handwritten personally by you (from two sides). You will have 2 questions from the [https://yadi.sk/i/myp4_88l3GJDwe questions list] with 25 minutes for preparation and may receive additional questions or tasks.<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> '''Lecture 4. Regression methods.'''<br /> [https://yadi.sk/i/mvozzv_s3CReQQ Download]<br /> <br /> '''Lecture 5. Properties of convex functions.'''<br /> [https://yadi.sk/i/zCcyHHCz3DhLTx Download]<br /> <br /> '''Lecture 6. Linear methods of classification.'''<br /> [https://yadi.sk/i/CsWN0nwW3DhDJp Download]<br /> <br /> '''Lecture 7. Classifier evaluation.'''<br /> [https://yadi.sk/i/r3tYJwZ73FNNWk Download]<br /> <br /> '''Lecture 8. SVM and kernel trick.'''<br /> [https://yadi.sk/i/f35uPeOe3FzvKg Download]<br /> <br /> '''Lecture 9. Principal component analysis.'''<br /> [https://yadi.sk/i/dfImvp3O3Gwoaw Download]<br /> <br /> '''Lecture 10. Singular value decomposition.'''<br /> [https://yadi.sk/i/znlevSwu3Gwobb Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theoretical task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstSEZOZzBoQUo3bk0 data]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theoretical task 3], Deadline: February 2<br /> <br /> '''Seminar 4. Regression methods '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJsta29CeXdfcXFwWFU/view?usp=sharing Theoretical task 4], Deadline: February 9<br /> <br /> '''Seminar 5. Linear classification: loss functions '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUzQxWndJaTB1cGM/view?usp=sharing Theoretical task 5], Deadline: February 16<br /> <br /> '''Seminar 6. Linear classification: optimization '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaHFVRFV2Z0F0ZWs/view?usp=sharing Theoretical task 6], Deadline: March 2<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstRjNSbXhxWDZfRzA/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstbGZZTDNjazg5Mmc/view?usp=sharing first dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstZ1M3NmhXU0EwSlE/view?usp=sharing diabetes dataset]. Deadline: March 16<br /> <br /> '''Seminar 7. Classifier evaluation'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZUF9FMlVWYUVmQUE/view?usp=sharing Theoretical task 7], Deadline: March 16<br /> <br /> '''Seminar 8. SVM and kernel trick'''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstazFWSXVSREJzSGc/view?usp=sharing Theoretical task 8], Deadline: March 23<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstOVotNEhnYUJYdGs/view?usp=sharing Practical task 8], [https://drive.google.com/file/d/0B7TWwiIrcJstU0gxeDhYX1hHN1E/view?usp=sharing data]. Deadline: March 30<br /> <br /> '''Seminar 9. PCA'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZT1U0aUhjQmphZDA/view?usp=sharing Theoretical task 9], Deadline: April 20<br /> <br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> If you solve the theoretical problem in class you obtain 1.5 points (if you solve it at home you obtain 1 point).<br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [https://github.com/esokolov/ml-course-hse Machine learning course from Evgeny Sokolov on Github]<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=22798 2017-03-10T09:59:09Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> '''Lecture 4. Regression methods.'''<br /> [https://yadi.sk/i/mvozzv_s3CReQQ Download]<br /> <br /> '''Lecture 5. Properties of convex functions.'''<br /> [https://yadi.sk/i/zCcyHHCz3DhLTx Download]<br /> <br /> '''Lecture 6. Linear methods of classification.'''<br /> [https://yadi.sk/i/CsWN0nwW3DhDJp Download]<br /> <br /> '''Lecture 7. Classifier evaluation.'''<br /> [https://yadi.sk/i/r3tYJwZ73FNNWk Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theoretical task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstSEZOZzBoQUo3bk0 data]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theoretical task 3], Deadline: February 2<br /> <br /> '''Seminar 4. Regression methods '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJsta29CeXdfcXFwWFU/view?usp=sharing Theoretical task 4], Deadline: February 9<br /> <br /> '''Seminar 5. Linear classification: loss functions '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUzQxWndJaTB1cGM/view?usp=sharing Theoretical task 5], Deadline: February 16<br /> <br /> '''Seminar 6. Linear classification: optimization '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaHFVRFV2Z0F0ZWs/view?usp=sharing Theoretical task 6], Deadline: March 2<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstRjNSbXhxWDZfRzA/view?usp=sharing Practical task 6], [https://drive.google.com/file/d/0B7TWwiIrcJstbGZZTDNjazg5Mmc/view?usp=sharing firat dataset], [https://drive.google.com/file/d/0B7TWwiIrcJstZ1M3NmhXU0EwSlE/view?usp=sharing diabetes dataset]. Deadline: March 16<br /> <br /> '''Seminar 7. Classifier evaluation'''<br /> <br /> [https://drive.google.com/file/d/0B4DmUfeAdxyZUF9FMlVWYUVmQUE/view?usp=sharing Theoretical task 7], Deadline: March 16<br /> <br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> If you solve the theoretical problem in class you obtain 1.5 points (if you solve it at home you obtain 1 point).<br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=22644 2017-02-15T12:44:11Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> '''Lecture 4. Regression methods.'''<br /> [https://yadi.sk/i/mvozzv_s3CReQQ Download]<br /> <br /> '''Lecture 5. Properties of convex functions.'''<br /> [https://yadi.sk/i/zCcyHHCz3DhLTx Download]<br /> <br /> '''Lecture 6. Linear methods of classification.'''<br /> [https://yadi.sk/i/CsWN0nwW3DhDJp Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theoretical task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2], [https://drive.google.com/open?id=0B7TWwiIrcJstSEZOZzBoQUo3bk0 data]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theoretical task 3], Deadline: February 2<br /> <br /> '''Seminar 4. Regression methods '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJsta29CeXdfcXFwWFU/view?usp=sharing Theoretical task 4], Deadline: February 9<br /> <br /> '''Seminar 5. Linear classification '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUzQxWndJaTB1cGM/view?usp=sharing Theoretical task 5], Deadline: February 16<br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> If you solve the theoretical problem in class you obtain 1.5 points (if you solve it at home you obtain 1 point).<br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=22487 2017-01-27T10:47:36Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> <br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theory task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theory task 3], Deadline: February 2<br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=22486 2017-01-27T10:47:18Z

<p>Arbabenko: </p> <hr /> <div>'''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> '''Lecture 3. Decision trees.'''<br /> [https://yadi.sk/i/sUJamzb83Ao4xL Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theory task 2], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2]. Deadline: February 2<br /> <br /> '''Seminar 3. Decision trees '''<br /> [https://drive.google.com/file/d/0B7TWwiIrcJstelVRUVBXNktKenc/view?usp=sharing Theory task 3], Deadline: February 2<br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=22388 2017-01-20T09:12:58Z

<p>Arbabenko: </p> <hr /> <div>'''This page isn't finished yet!!!'''<br /> <br /> '''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theory task 1], Deadline: January 26<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2]. Deadline: February 2<br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=Data_analysis_(Software_Engineering)_2017&diff=22387 2017-01-20T09:12:22Z

<p>Arbabenko: </p> <hr /> <div>'''This page isn't finished yet!!!'''<br /> <br /> '''Class email:''' cshse.ml@gmail.com&lt;br /&gt;<br /> '''Anonymous feedback form:''' [https://docs.google.com/forms/d/e/1FAIpQLSdxP-U47SLedjTvF0CyxHSIYy8eTUnzcDOc9DIl4gFSD2-ixA/viewform here]&lt;br /&gt;<br /> '''Scores: [https://docs.google.com/spreadsheets/d/124qVkoSpftuRhYCEcY7KC-ALPiLn47_guyqAQIZJUYk/edit?usp=sharing here]''' &lt;br /&gt;<br /> <br /> &lt;br /&gt;<br /> <br /> == Course description ==<br /> In this class we consider the main problems of data mining and machine learning: classification, clustering, regression, dimensionality reduction, ranking, collaborative filtering. We will also study mathematical methods and concepts which data analysis is based on as well as formal assumptions behind them and various aspects of their implementation.<br /> <br /> A significant attention is given to practical skills of data analysis that will be developed on seminars by studying the Python programming language and relevant libraries for scientific computing.<br /> <br /> The knowledge of linear algebra, real analysis and probability theory is required.<br /> <br /> '''The class consists of:'''<br /> # Lectures and seminars<br /> # Practical and theoretical homework assignments<br /> # A machine learning competition (more information will be available later)<br /> # Midterm theoretical colloquium<br /> # Final exam<br /> <br /> == Syllabus ==<br /> <br /> # Introduction to machine learning.<br /> # K-nearest neighbours classification and regression. Extensions. Optimization techniques.<br /> # Decision tree methods.<br /> # Bayesian decision theory. Model evaluation: <br /> # Linear classification methods. Adding regularization to linear methods.<br /> # Regression.<br /> # Kernel generalization of standard methods.<br /> # Neural networks.<br /> # Ensemble methods: bagging, boosting, etc.<br /> # Feature selection.<br /> # Feature extraction<br /> # EM algorithm. Density estimation using mixtures.<br /> # Clustering<br /> # Collaborative filtering<br /> # Ranking<br /> <br /> == Lecture materials ==<br /> <br /> '''Lecture 1. Introduction to data science and machine learning. '''<br /> [https://yadi.sk/i/TKVKjQMi38fUFm Download]<br /> <br /> '''Lecture 2. Metric methods of classification &amp; regression.'''<br /> [https://yadi.sk/i/D4YvGVx739oAZ8 Download]<br /> <br /> == Seminars ==<br /> <br /> '''Seminar 1. Introduction to Data Analysis in Python '''<br /> <br /> Additional materials: [https://github.com/esokolov/ml-course-hse/blob/master/2016-fall/seminars/sem01-tools.ipynb 1], [https://drive.google.com/open?id=0B7TWwiIrcJstRzVRSlRFcEl3VGM 2]<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstaVo4b0FQYTZpejg/view?usp=sharing Practical task 1], [https://drive.google.com/file/d/0B7TWwiIrcJstazJRLVFRZ3dHM1k/view?usp=sharing data]. Deadline: January 19.<br /> <br /> '''Seminar 2. Metric Classifiers '''<br /> <br /> [https://drive.google.com/file/d/0B7TWwiIrcJstVmJ5NnNBY3YwV2c/view?usp=sharing Theory task 1], Deadline: January 26<br /> [https://drive.google.com/file/d/0B7TWwiIrcJstUTg0czdlVkpMaWc/view?usp=sharing Practical task 2]. Deadline: February 2.<br /> <br /> == Evaluation criteria ==<br /> The course lasts during the 3rd and 4th modules. Knowledge of students is assessed by evaluation of their home assignments and exams. Home assignments divide into theoretical tasks and practical tasks. There are two exams during the course – after the 3rd module and after the 4th module respectively. Each of the exams evaluates theoretical knowledge and understanding of the material studied during the respective module.<br /> <br /> Grade takes values 4,5,…10. Grades, corresponding to 1,2,3 are assumed unsatisfactory. Exact grades are calculated using the following rule:<br /> <br /> * '''score''' ≥ 35% =&gt; 4,<br /> * '''score''' ≥ 45% =&gt; 5,<br /> * ...<br /> * '''score''' ≥ 95% =&gt; 10,<br /> <br /> where '''score''' is calculated using the following rule:<br /> <br /> '''score''' = 0.6 * S&lt;sub&gt;homework&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam1&lt;/sub&gt; + 0.2 * S&lt;sub&gt;exam2&lt;/sub&gt; + 0.2 * S&lt;sub&gt;competition&lt;/sub&gt;<br /> <br /> * S&lt;sub&gt;homework&lt;/sub&gt; – proportion of correctly solved homework,<br /> * S&lt;sub&gt;exam1&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 3,<br /> * S&lt;sub&gt;exam2&lt;/sub&gt; – proportion of successfully answered theoretical questions during exam after module 4,<br /> * S&lt;sub&gt;competition&lt;/sub&gt; – score for the competition in machine learning (it's also from 0 to 1).<br /> <br /> Participation in machine learning competition is optional and can give students extra points.<br /> <br /> == Plagiarism ==<br /> In case of discovered plagiarism zero points will be set for the home assignemets - for both works, which were found to be identical. In case of repeated plagiarism by one and the same person a report to the dean will be made.<br /> <br /> == Deadlines ==<br /> <br /> Standard period for working on a homework assignment is 2 weeks for practical assignments and 1 week for theoretical ones. The first practical assignment is an exception. Assignments sent after late deadlines will not be scored (assigned with zero score) in the absence of legitimate reasons for late submission which do not include high load on other classes. <br /> <br /> '''Deadline time:''' 23:59 of the day before seminar (Thursday).<br /> <br /> == Structure of emails and homework submissions ==<br /> All the questions and submissions must be addressed to '''cshse.ml@gmail.com'''.<br /> The following subjects must be used:<br /> * For ''questions'' (general, regarding assignments, etc): &quot;Question - Surname Name - Group&quot;<br /> * For ''homework submissions'': &quot;Practice/Theory {Lab number} - Surname Name - Group&quot;<br /> <br /> ''Example'': Practice 1 - Ivanov Ivan - 141<br /> <br /> Please do not mix two different topics in a single email such as theoretical and practical assignments etc. When replying, please use the '''same''' thread (i.e. reply to the same email).<br /> <br /> Practical assignments must be implemented in jupyter notebook format, theoretical ones in pdf. Practical assignments must use '''Python 3'''. Use your surname as a filename for assignments (e.g. Ivanov.ipynb). Do not archive your assignments.<br /> <br /> Assignments can be performed in either Russian or English.<br /> <br /> '''Assignments can be submitted only once!'''<br /> <br /> == Useful links ==<br /> === Machine learning ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * [https://yandexdataschool.ru/edu-process/courses/machine-learning Video-lectures of K. Vorontsov on machine learning]<br /> * On of the classic ML books. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> <br /> === Python ===<br /> * [http://python.org Official website]<br /> * Libraries: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * A little example for the begginers: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Python from scratch: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Lectures [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * A book: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Python installation and configuration ===<br /> <br /> [https://www.continuum.io/downloads anaconda]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=16637 2015-05-30T07:31:56Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за устный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Меры при обнаружении плагиата'''<br /> <br /> ''Для лабораторных 1-7:''<br /> <br /> * По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. <br /> * Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.<br /> <br /> ''Для всех последующих лабораторных:''<br /> <br /> * Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.<br /> Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.<br /> <br /> Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 12. Выбор моделей и отбор признаков.'''<br /> <br /> [https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 13. Кластеризация.'''<br /> [https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 14. Композиции алгоритмов.'''<br /> [https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 15. Нейронные сети.'''<br /> [https://www.dropbox.com/s/dfu7ykkj8psourh/slides-NeuralNets.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 16. Ранжирование.'''<br /> [https://www.dropbox.com/s/4jz8k9ch10vuiyl/slides-Ranking.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 17. Коллаборативная фильтрация.'''<br /> [https://www.dropbox.com/s/gc6umd44g86whn7/slides-Collaborative.pdf?dl=0, Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> === Семинар 10. Разделение смеси распределений ===<br /> [https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 12. Оценивание моделей ===<br /> [https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 13. Кластеризация ===<br /> Дедлайны:<br /> <br /> Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.<br /> <br /> Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.<br /> <br /> [https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].<br /> [https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]<br /> <br /> === Семинар 14. Композиции классификаторов ===<br /> [https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]<br /> <br /> <br /> === Семинар 15. Нейронные сети ===<br /> [https://www.dropbox.com/s/fh2frujzaz0gz9w/lab15.pdf?dl=0, Лабораторная]<br /> [https://www.dropbox.com/s/bcfthzhghnnglvy/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 16. Ранжирование ===<br /> [https://www.dropbox.com/s/x2nulcih02l32qf/sem16.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 17. Коллаборативная фильтрация ===<br /> [https://www.dropbox.com/s/sfyby2r9kugwhiv/lab17.pdf?dl=0, Лабораторная]<br /> [https://www.dropbox.com/s/5as2k79dhajtw7n/data.zip?dl=0, Данные]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> <br /> Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=14679 2015-05-23T07:37:13Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за устный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Меры при обнаружении плагиата'''<br /> <br /> ''Для лабораторных 1-7:''<br /> <br /> * По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. <br /> * Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.<br /> <br /> ''Для всех последующих лабораторных:''<br /> <br /> * Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.<br /> Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.<br /> <br /> Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 12. Выбор моделей и отбор признаков.'''<br /> <br /> [https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 13. Кластеризация.'''<br /> [https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 14. Композиции алгоритмов.'''<br /> [https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 15. Нейронные сети.'''<br /> [https://www.dropbox.com/s/dfu7ykkj8psourh/slides-NeuralNets.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 16. Ранжирование.'''<br /> [https://www.dropbox.com/s/4jz8k9ch10vuiyl/slides-Ranking.pdf?dl=0, Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> === Семинар 10. Разделение смеси распределений ===<br /> [https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 12. Оценивание моделей ===<br /> [https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 13. Кластеризация ===<br /> Дедлайны:<br /> <br /> Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.<br /> <br /> Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.<br /> <br /> [https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].<br /> [https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]<br /> <br /> === Семинар 14. Композиции классификаторов ===<br /> [https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]<br /> <br /> <br /> === Семинар 15. Нейронные сети ===<br /> [https://www.dropbox.com/s/fh2frujzaz0gz9w/lab15.pdf?dl=0, Лабораторная]<br /> [https://www.dropbox.com/s/bcfthzhghnnglvy/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 16. Ранжирование ===<br /> [https://www.dropbox.com/s/x2nulcih02l32qf/sem16.pdf?dl=0, Задачи с семинара]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> <br /> Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=12583 2015-05-16T08:08:34Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за устный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Меры при обнаружении плагиата'''<br /> <br /> ''Для лабораторных 1-7:''<br /> <br /> * По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. <br /> * Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.<br /> <br /> ''Для всех последующих лабораторных:''<br /> <br /> * Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.<br /> Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.<br /> <br /> Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 12. Выбор моделей и отбор признаков.'''<br /> <br /> [https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 13. Кластеризация.'''<br /> [https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 14. Композиции алгоритмов.'''<br /> [https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 15. Нейронные сети.'''<br /> [https://www.dropbox.com/s/dfu7ykkj8psourh/slides-NeuralNets.pdf?dl=0, Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> === Семинар 10. Разделение смеси распределений ===<br /> [https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 12. Оценивание моделей ===<br /> [https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 13. Кластеризация ===<br /> Дедлайны:<br /> <br /> Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.<br /> <br /> Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.<br /> <br /> [https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].<br /> [https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]<br /> <br /> === Семинар 14. Композиции классификаторов ===<br /> [https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 15. Нейронные сети ===<br /> <br /> [https://www.dropbox.com/s/fh2frujzaz0gz9w/lab15.pdf?dl=0, Лабораторная]<br /> [https://www.dropbox.com/s/bcfthzhghnnglvy/mnist.zip?dl=0, Данные]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> <br /> Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=12572 2015-05-16T07:39:11Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за устный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Меры при обнаружении плагиата'''<br /> <br /> ''Для лабораторных 1-7:''<br /> <br /> * По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. <br /> * Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.<br /> <br /> ''Для всех последующих лабораторных:''<br /> <br /> * Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.<br /> Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.<br /> <br /> Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 12. Выбор моделей и отбор признаков.'''<br /> <br /> [https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 13. Кластеризация.'''<br /> [https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 14. Композиции алгоритмов.'''<br /> [https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 14. Нейронные сети.'''<br /> [https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> === Семинар 10. Разделение смеси распределений ===<br /> [https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 12. Оценивание моделей ===<br /> [https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 13. Кластеризация ===<br /> Дедлайны:<br /> <br /> Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.<br /> <br /> Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.<br /> <br /> [https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].<br /> [https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]<br /> <br /> === Семинар 14. Композиции классификаторов ===<br /> [https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 15. Нейронные сети ===<br /> <br /> [https://www.dropbox.com/s/fh2frujzaz0gz9w/lab15.pdf?dl=0, Лабораторная]<br /> [https://www.dropbox.com/s/bcfthzhghnnglvy/mnist.zip?dl=0, Данные]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> <br /> Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=12570 2015-05-16T07:35:06Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за устный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Меры при обнаружении плагиата'''<br /> <br /> ''Для лабораторных 1-7:''<br /> <br /> * По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. <br /> * Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.<br /> <br /> ''Для всех последующих лабораторных:''<br /> <br /> * Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.<br /> Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.<br /> <br /> Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 12. Выбор моделей и отбор признаков.'''<br /> <br /> [https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 13. Кластеризация.'''<br /> [https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 14. Композиции алгоритмов.'''<br /> [https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> === Семинар 10. Разделение смеси распределений ===<br /> [https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 12. Оценивание моделей ===<br /> [https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 13. Кластеризация ===<br /> Дедлайны:<br /> <br /> Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.<br /> <br /> Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.<br /> <br /> [https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].<br /> [https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]<br /> <br /> === Семинар 14. Композиции классификаторов ===<br /> [https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 15. Нейронные сети ===<br /> <br /> [https://www.dropbox.com/s/fh2frujzaz0gz9w/lab15.pdf?dl=0, Лабораторная]<br /> [https://www.dropbox.com/s/bcfthzhghnnglvy/mnist.zip?dl=0, Данные]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> <br /> Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=8707 2015-04-25T07:33:08Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за устный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Меры при обнаружении плагиата'''<br /> <br /> ''Для лабораторных 1-7:''<br /> <br /> * По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. <br /> * Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.<br /> <br /> ''Для всех последующих лабораторных:''<br /> <br /> * Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.<br /> Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.<br /> <br /> Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 12. Выбор моделей и отбор признаков.'''<br /> <br /> [https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 13. Кластеризация.'''<br /> [https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]<br /> <br /> '''Лекции 14. Композиции алгоритмов.'''<br /> [https://www.dropbox.com/s/8cy5pfgz1gg1na6/lec14.pdf?dl=0, Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> === Семинар 10. Разделение смеси распределений ===<br /> [https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 12. Оценивание моделей ===<br /> [https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 13. Кластеризация ===<br /> Дедлайны:<br /> <br /> Группы Артема и Ани: теория 25.04 09:00, практика 2.05 09:00.<br /> <br /> Группы Сергея: теория 30.04 09:00, практика 7.05 09:00.<br /> <br /> [https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].<br /> [https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]<br /> <br /> === Семинар 14. Композиции классификаторов ===<br /> [https://www.dropbox.com/s/y0von4yb7iamxuf/sem14.pdf?dl=0, Задачи с семинара]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> <br /> Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=7563 2015-04-18T07:57:03Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за устный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Меры при обнаружении плагиата'''<br /> <br /> ''Для лабораторных 1-7:''<br /> <br /> * По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. <br /> * Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.<br /> <br /> ''Для всех последующих лабораторных:''<br /> <br /> * Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.<br /> Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.<br /> <br /> Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 12. Выбор моделей и отбор признаков.'''<br /> <br /> [https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 13. Кластеризация.'''<br /> [https://www.dropbox.com/s/3t3vvyvlk0eihoo/slides-Clustering.pdf?dl=0, Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> === Семинар 10. Разделение смеси распределений ===<br /> [https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 12. Оценивание моделей ===<br /> [https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 13. Кластеризация ===<br /> [https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].<br /> [https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> <br /> Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=7562 2015-04-18T07:37:29Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за устный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Меры при обнаружении плагиата'''<br /> <br /> ''Для лабораторных 1-7:''<br /> <br /> * По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. <br /> * Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.<br /> <br /> ''Для всех последующих лабораторных:''<br /> <br /> * Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.<br /> Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.<br /> <br /> Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 12. Выбор моделей и отбор признаков.'''<br /> <br /> [https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> === Семинар 10. Разделение смеси распределений ===<br /> [https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 12. Оценивание моделей ===<br /> [https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]<br /> <br /> === Семинар 13. Кластеризация ===<br /> [https://www.dropbox.com/s/zgq88loq09bzbbm/lab13.pdf?dl=0 Задание], [https://www.dropbox.com/s/4snv7gpc1l5je9q/parrots.jpg?dl=0 parrots.jpg], [https://www.dropbox.com/s/9ilrbbdz74pvne0/grass.jpg?dl=0 grass.jpg].<br /> [https://www.dropbox.com/s/fiy2u04o3g0eea2/problems_hse.pdf?dl=0, Теоретические задачи]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> <br /> Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=6542 2015-04-11T07:30:33Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет устный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за устный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Меры при обнаружении плагиата'''<br /> <br /> ''Для лабораторных 1-7:''<br /> <br /> * По умолчанию всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. <br /> * Из каждого онаруженного нами кластера людей, сдавших одинаковую работу, первый сдавший предполагается первоисточником работы и может получить за нее положительную оценку. Для этого он должен устно зачесть работу у преподавателя. Желательно обращаться именно к тому преподавателю, который проверял работу. При успешной защите своей работы со студента снимается отметка о плагиате.<br /> <br /> ''Для всех последующих лабораторных:''<br /> <br /> * Всем, у кого обнаружен плагиат ставится 0 баллов и отметка о плагиате. И тем, кто списал, и тем, у кого списали. Мы не будем искать первоисточник работы.<br /> Также Вы должны понимать, что плагиат будет иметь и другие последствия. При обнаружении плагиата у одного и того же человека более одного раза на него будет оформляться докладная на имя декана.<br /> <br /> Если у человека есть хоть одна отметка о плагиате, он не может получить автомат.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 12. Выбор моделей и отбор признаков.'''<br /> <br /> [https://www.dropbox.com/s/7qchphf7ka7va2u/lec12.pdf?dl=0 Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> === Семинар 10. Разделение смеси распределений ===<br /> [https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br /> <br /> === Семинар 12. Оценивание моделей ===<br /> [https://www.dropbox.com/s/oy8c32jnv8oo3si/sem12.pdf?dl=0, Задачи с семинара]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> <br /> Большая просьба ко всем сдавать свои работы в ipython notebook, это очень упростит нам проверку. В качестве названия для файла с работой используйте свою фамилию на английском языке. Не нужно архивировать файлы перед отправкой.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=2547 2015-03-21T07:31:38Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за письменный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> === Семинар 10. Разделение смеси распределений ===<br /> [https://www.dropbox.com/s/fcelgz2vicnddsf/lab10.pdf?dl=0, Задание], [https://www.dropbox.com/s/c6z8xexubmbixi8/mnist.zip?dl=0, Данные]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1792 2015-03-14T07:32:51Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> '''Оценка за курс.''' После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории. Также в середине семестра будет проведен устный коллоквиум по теории. Итоговая оценка за курс складывается из оценок за практические задания, оценки за коллоквиум и оценки за экзамен. <br /> <br /> '''Формальные критерии:'''<br /> <br /> Оценки за различные активности:<br /> * O&lt;sub&gt;theory&lt;/sub&gt; - суммарная оценка за теоретические части лабораторных работ (max = 3 за одну лабораторную)<br /> * O&lt;sub&gt;practice&lt;/sub&gt; - суммарная оценка за практические части лабораторных работ (max = 5 за одну лабораторную)<br /> * O&lt;sub&gt;colloquium&lt;/sub&gt; - оценка за устный коллоквиум (max = 5)<br /> * O&lt;sub&gt;exam&lt;/sub&gt; - оценка за письменный экзамен (max = 50)<br /> <br /> Общее число баллов:<br /> <br /> O&lt;sub&gt;all&lt;/sub&gt; = 0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt; + 0.2 * O&lt;sub&gt;exam&lt;/sub&gt; + O&lt;sub&gt;colloquium&lt;/sub&gt;<br /> <br /> Критерии оценки:<br /> <br /> O&lt;sub&gt;max&lt;/sub&gt; = max_possible_value_of(O&lt;sub&gt;all&lt;/sub&gt;)<br /> <br /> При подсчете O&lt;sub&gt;max&lt;/sub&gt; не учитываются дополнительные баллы за задания со звездочкой.<br /> <br /> '''Оценка 5''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.8 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 4''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.6 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> '''Оценка 3''': O&lt;sub&gt;all&lt;/sub&gt; &gt;= 0.45 * O&lt;sub&gt;max&lt;/sub&gt;<br /> <br /> ''Критерии в 10-бальной шкале будут вывешены позднее. ''<br /> <br /> За курс можно получить автомат без сдачи итогового экзамена. Для этого нужно получить максимальный балл за коллоквиум, а также суммарная оценка за лабораторные должна быть хорошей:<br /> <br /> (0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;) &gt;= 0.9 * max_possible_value_of(0.2 * O&lt;sub&gt;theory&lt;/sub&gt; + 0.4 * O&lt;sub&gt;practice&lt;/sub&gt;)<br /> <br /> Здесь при подсчете максимального значения опять же не учитываются баллы за задания со звездочкой.<br /> <br /> '''Дедлайны.''' Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> '''Лекции 8-9. Байесовская классификация.'''<br /> <br /> [https://www.dropbox.com/s/rc5d97y7wttx7a0/slides-Bayes.pdf?dl=0 Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по четвергам дедлайн 9:00 следующего четверга. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> === Семинар 9. Параметрическая Байесовская классификация ===<br /> [https://www.dropbox.com/s/8u1cyn0fdbdrtdp/lab9.pdf?dl=0 Задание], [https://www.dropbox.com/s/r13rvv047j6lthl/2d.zip?dl=0 Данные1], [https://www.dropbox.com/s/9sh0rn0v74jep0m/200d.zip?dl=0 Данные2]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1700 2015-02-28T07:36:31Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> [https://www.dropbox.com/s/dsgfrs0jo3grbci/slides-Regression.pdf?dl=0 Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> === Семинар 7. PCA + регрессия ===<br /> [https://www.dropbox.com/s/d63lww92hdtf35z/lab7.pdf?dl=0 Задание], [https://www.dropbox.com/s/ngxt79hdgqtqet8/data.zip?dl=0 Данные]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1699 2015-02-28T07:34:34Z

<p>Arbabenko: /* Темы лекций */</p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 6. Ядерный SVM.'''<br /> <br /> '''Лекция 7. Линейная регрессия и PCA.'''<br /> Методы восстановления регрессии. Задача восстановления регрессии, метод наименьших квадратов. Многомерная линейная регрессия. Сингулярное разложение. Регуляризация: гребневая регрессия и лассо Тибширани. Метод главных компонент и декоррелирующее преобразование.<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1678 2015-02-25T18:07:25Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 12 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Ядерный SVM.'''<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1677 2015-02-25T18:06:00Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Коллоквиум ==<br /> <br /> На семинарах 7 и 14 марта пройдет коллоквиум. Каждый студент должен будет лично ответить преподавателю на несколько вопросов из списка ниже.<br /> [https://www.dropbox.com/s/r4d2o4wtjydwo5e/questions.pdf?dl=0 Список вопросов] <br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Ядерный SVM.'''<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1642 2015-02-21T07:29:58Z

<p>Arbabenko: /* Темы лекций */</p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Линейный SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. Ядерный SVM.'''<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1641 2015-02-21T07:29:23Z

<p>Arbabenko: /* Семинары */</p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. Линейный SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> === Семинар 6. Ядерный SVM ===<br /> [https://www.dropbox.com/s/bspfulrpj180da8/lab6.pdf?dl=0 Задание]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1601 2015-02-14T07:30:22Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> <br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 5. SVM.'''<br /> <br /> [https://www.dropbox.com/s/xvdaoilxu71bz65/lec5.pdf?dl=0 Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> === Семинар 5. SVM ===<br /> [https://www.dropbox.com/s/kbkhk4z5pagsrne/lab5.pdf?dl=0 Задание], [https://www.dropbox.com/s/5ro58pbpdf2iwoq/data.zip?dl=0 Данные]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1548 2015-02-07T07:29:57Z

<p>Arbabenko: /* Темы лекций */</p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> Логические закономерности и решающие деревья.
Понятие логической закономерности. Определение информативности. Разновидности закономерностей: шары, гиперплоскости, гиперпараллелепипеды (конъюнкции). Бинаризация признаков, алгоритм выделения информативных зон. «Градиентный» алгоритм синтеза конъюнкций, частные случаи: жадный алгоритм, стохастический локальный поиск, стабилизация, редукция. Решающее дерево. Псевдокод: жадный алгоритм ID3. Недостатки алгоритма и способы их устранения. Проблема переобучения. Редукция решающих деревьев: предредукция и постредукция.<br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> '''Лекция 4. Линейные методы классификации.'''<br /> Линейные алгоритмы классификации. Квадратичная функция потерь, метод наименьших квадратов. Метод стохастического градиента и частные случаи: перcептрон Розенблатта, правило Хэбба. Недостатки метода стохастического градиента и способы их устранения. Ускорение сходимости, «выбивание» из локальных минимумов. Проблема переобучения, редукция весов (weight decay).<br /> [https://www.dropbox.com/s/hj0ao16hh7n2bso/lec4.pdf?dl=0 Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> === Семинар 4. Линейные методы классификации ===<br /> [https://www.dropbox.com/s/8aopczz722klmya/lab4.pdf?dl=0 Задание], [https://www.dropbox.com/s/vn6g2dceepropd5/train.csv?dl=0 train.csv] и [https://www.dropbox.com/s/qtiu368pq2c33ea/test.csv?dl=0 test.csv].<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1500 2015-01-31T08:35:09Z

<p>Arbabenko: /* Темы лекций */</p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> <br /> '''Контакты: ''' cshse.ml@gmail.com<br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 3. Логическая классификация.'''<br /> <br /> [https://www.dropbox.com/s/9qfmw95wlw26jvb/slides-Logic1_ml_hse.pdf?dl=0 Слайды]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> === Семинар 3. Решающие деревья ===<br /> [https://www.dropbox.com/s/4qxzfmzko3k01fq/lab3.pdf?dl=0 Задание], [https://www.dropbox.com/s/8ronkxqj087mxbe/adult.data?dl=0 данные], [https://www.dropbox.com/s/42a5gb3tw4dc3mi/adult.names?dl=0 названия признаков].<br /> <br /> [http://ogrisel.github.io/scikit-learn.org/sklearn-tutorial/auto_examples/tutorial/plot_knn_iris.html Туториал по визуализации]<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Небольшой пример для начинающих: [http://nbviewer.ipython.org/gist/voron13e02/83a86f2e0fc5e7f8424d краткое руководство с примерами по Python 2]<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> <br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1425 2015-01-24T08:51:39Z

<p>Arbabenko: /* Темы лекций */</p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> [https://www.dropbox.com/s/p7kfijkrhq0kdwv/intro.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/me0q1njwonyrt06/instruments.pdf?dl=0 Слайды, часть 2]<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> Метрические алгоритмы классификации. Метод ближайших соседей (kNN) и его обобщения. Подбор числа k по критерию скользящего контроля. Обобщённый метрический классификатор, понятие отступа. Проклятие размерности. Методы быстрого поиска ближайших соседей.<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1424 2015-01-24T07:45:14Z

<p>Arbabenko: </p> <hr /> <div>'''Таблица результатов [https://docs.google.com/spreadsheets/d/1m6xUNu7Hq7-wi_G2527d4HAE_N03F74ryNKIs3zgEbQ/edit#gid=0 здесь]''' <br /> &lt;br /&gt;<br /> &lt;br /&gt;<br /> == Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> '''Лекция 2. Метрическая классификация.'''<br /> <br /> [https://www.dropbox.com/s/vlmifieu79liq1p/metric.pdf?dl=0 Слайды, часть 1]<br /> [https://www.dropbox.com/s/g9g6ib8icygik2j/metric2.pdf?dl=0 Слайды, часть 2]<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> === Семинар 2. Проклятие размерности. Метод ближайшего соседа ===<br /> [https://www.dropbox.com/s/fc2kd7pp3no0s0t/practice.pdf?dl=0 Задание], [https://www.dropbox.com/s/xuse7r13f5cls6a/new_york.txt?dl=0 данные о ресторанах] ([https://www.dropbox.com/s/yejtu3y4ixt3tzl/features.txt?dl=0 название признаков]).<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1410 2015-01-23T16:05:46Z

<p>Arbabenko: </p> <hr /> <div>== Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> * Оценка за курс. После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> * Дедлайны. Решения присланные после дедлайнов не принимаются, кроме случаев наличия уважительных причин у студента (завалы на учебе или работе уважительными причинами не считаются).<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> == Семинары ==<br /> === Правила сдачи заданий cеминаров === <br /> * На семинарах выдаются практические лабораторные работы, которые можно сдавать на семинаре, либо по почте до дедлайна.<br /> * Для групп, у который семинары проходят по субботам, дедлайн 9:00 следующей субботы. У групп с семинарами по понедельникам дедлайн 9:00 следующего понедельника. <br /> * Решения следует отправлять на почту курса с соответствующей темой письма (см. раздел Оформление писем). <br /> * Решения принимаются в виде одного аккуратно оформленного ipython-notebook'а (.ipynb-файл), либо в виде аккуратного pdf-файла + скриптов.<br /> * Для теоретических заданий предполагается развернутый ответ (с доказательством при необходимости).<br /> * По каждому практическому заданию помимо формального ответа на вопрос и соответствующего кода необходимо так же дать комментарии/построить графики при необходимости и сделать выводы.<br /> === Семинар 1. Инструментарий === <br /> Знакомство с языком Python. <br /> [https://www.dropbox.com/s/bx6hrz7pb61l9ab/ML_HSE_Lab1.pdf?dl=0 Лабораторная 1], [https://www.dropbox.com/s/y1kfgpiwbgjeisl/train.csv?dl=0 данные].<br /> <br /> [http://nbviewer.ipython.org/gist/anonymous/fba8bf7f1ad379df9d63 Материал] в помощь.<br /> <br /> == Оформление писем ==<br /> Вопросы и домашние задания присылайте на почтовый адрес '''cshse.ml@gmail.com'''.<br /> На почту присылайте письма со следующими темами:<br /> * Для ''вопросов'' (общих, по лабораторным, по теории и т. д.): &quot;Вопрос - Фамилия Имя Отчество - Группа&quot;<br /> * Для ''лабораторных'': &quot;Лабораторная {Номер лабораторной работы} - Фамилия Имя Отчество - Группа (Семинарист)&quot;<br /> Когда отвечаете на наши письма или досылаете какие-то решения, пишите письма в '''тот же''' тред.<br /> == Полезные ссылки ==<br /> === Машинное обучение ===<br /> * [http://www.machinelearning.ru/wiki/index.php?title=Заглавная_страница machinelearning.ru]<br /> * Одна из классических и наиболее полных книг по машинному обучению. [http://web.stanford.edu/~hastie/local.ftp/Springer/ESLII_print10.pdf Elements of Statistical Learning (Trevor Hastie, Robert Tibshirani, Jerome Friedman)]<br /> === Python ===<br /> * [http://python.org Официальный сайт]<br /> * Библиотеки: [http://www.numpy.org/ NumPy], [http://pandas.pydata.org/ Pandas], [http://scikit-learn.org/stable/ SciKit-Learn], [http://matplotlib.org/ Matplotlib].<br /> * Питон с нуля: [http://nbviewer.ipython.org/gist/rpmuller/5920182 A Crash Course in Python for Scientists]<br /> * Лекции [https://github.com/jrjohansson/scientific-python-lectures#online-read-only-versions Scientific Python]<br /> * Книга: [http://www.cin.ufpe.br/~embat/Python%20for%20Data%20Analysis.pdf Wes McKinney «Python for Data Analysis»]<br /> * [https://github.com/ipython/ipython/wiki/A-gallery-of-interesting-IPython-Notebooks Коллекция интересных IPython ноутбуков]<br /> === Установка и настройка Python ===<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Windows|Windows]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Mac_OS|Mac OS]]<br /> * [[Анализ данных (Программная инженерия)/Установка и настройка Python#Linux | Linux]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1255 2015-01-16T18:14:14Z

<p>Arbabenko: </p> <hr /> <div>== Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.<br /> <br /> == Семинары ==<br /> <br /> <br /> == Полезные ссылки ==</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1254 2015-01-16T18:13:10Z

<p>Arbabenko: </p> <hr /> <div>== Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки и фреймворки для анализа данных на различных языках программирования.</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1253 2015-01-16T18:12:51Z

<p>Arbabenko: </p> <hr /> <div>== Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач. Существующие инструменты анализа данных.'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач. Популярные библиотеки для анализа данных на различных языках программирования.</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1252 2015-01-16T18:11:42Z

<p>Arbabenko: </p> <hr /> <div>== Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач'''<br /> <br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач.</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1251 2015-01-16T18:10:50Z

<p>Arbabenko: </p> <hr /> <div>== Краткое описание ==<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> == Отчётность по курсу и критерии оценки ==<br /> После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> <br /> == Темы лекций ==<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач'''<br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач.</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1250 2015-01-16T18:10:15Z

<p>Arbabenko: </p> <hr /> <div>== Анализ данных ==<br /> <br /> === Краткое описание ===<br /> В курсе рассматриваются основные задачи анализа данных и обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на практические аспекты применения изучаемых алгоритмов. Большое внимание уделяется практическим лабораторным работам на языке Python.<br /> <br /> === Отчётность по курсу и критерии оценки ===<br /> После каждой лекции студентам предлагается выполнить практическое задание на Python. В конце модуля пройдет письменный экзамен по теории.<br /> Итоговая оценка за курс складывается из оценок за практические задания и оценки за экзамен.<br /> <br /> === Темы лекций ===<br /> <br /> '''Лекция 1. Основные понятия и примеры прикладных задач'''<br /> Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные. Типы задач: классификация, регрессия, прогнозирование, кластеризация.<br /> Основные понятия: модель алгоритмов, метод обучения, функция потерь и функционал качества, принцип минимизации эмпирического риска, обобщающая способность, скользящий контроль.<br /> Примеры прикладных задач.</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%90%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_(%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%B0%D1%8F_%D0%B8%D0%BD%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D1%8F)&diff=1214 2015-01-14T17:47:56Z

<p>Arbabenko: Новая страница: «== Анализ данных == Темы лекций»</p> <hr /> <div>== [[Анализ данных]] ==<br /> <br /> [[Темы лекций]]</div>

Arbabenko https://wiki.cs.hse.ru/index.php?title=%D0%9E_%D1%84%D0%B0%D0%BA%D1%83%D0%BB%D1%8C%D1%82%D0%B5%D1%82%D0%B5&diff=1213 2015-01-14T17:46:37Z

<p>Arbabenko: /* Курсы за 2014/15 учебный год */</p> <hr /> <div>== Факультет компьютерных наук НИУ ВШЭ ==<br /> <br /> == Курсы за 2014/15 учебный год ==<br /> [[Основы и методологии программирования]]&lt;br /&gt;<br /> [[Алгоритмы и структуры данных]]&lt;br /&gt;<br /> [[Анализ данных (Программная инженерия)]]&lt;br /&gt;<br /> <br /> == Проектная работа, 2015 год ==<br /> [[Проектная работа]]</div>

Arbabenko